[논문 리뷰] Domain Adaptation from Synthesis to Reality in Single-model Detector for Video Smoke Detection

Xu Gao, Yongming Zhang외 3명|arXiv (Cornell University)|2017. 09. 24.

Fire Detection and Safety Systems참고 문헌 27인용 수 9

한 줄 요약

이 논문은 단일 모델 영상 연기 탐지기에서 합성 및 실재 연기 데이터 간의 도메인 갭을 해소하기 위한 엔드 투 엔드 도메인 적응 방법을 제안한다. SSD 및 MS-CNN의 탐지 헤드에 직접 애드버서리얼 적응을 통합함으로써, 기준 탐지기 대비 뛰어난 성능을 달성하였으며, 도메인 이동 효과를 줄이기 위해 애드버서리얼 적응이 차별 거리 기반 방법보다 뛰어나게 작용한다.

ABSTRACT

This paper proposes a method for video smoke detection using synthetic smoke samples. The virtual data can automatically offer precise and rich annotated samples. However, the learning of smoke representations will be hurt by the appearance gap between real and synthetic smoke samples. The existed researches mainly work on the adaptation to samples extracted from original annotated samples. These methods take the object detection and domain adaptation as two independent parts. To train a strong detector with rich synthetic samples, we construct the adaptation to the detection layer of state-of-the-art single-model detectors (SSD and MS-CNN). The training procedure is an end-to-end stage. The classification, location and adaptation are combined in the learning. The performance of the proposed model surpasses the original baseline in our experiments. Meanwhile, our results show that the detectors based on the adversarial adaptation are superior to the detectors based on the discrepancy adaptation. Code will be made publicly available on http://smoke.ustc.edu.cn. Moreover, the domain adaptation for two-stage detector is described in Appendix A.

연구 동기 및 목표

• 영상 연기 탐지에서 합성 및 실재 연기 영상 데이터 간의 도메인 이동 문제를 해결하기 위해.
• 합성 데이터로 훈련된 단일 모델 탐지기( SSD 및 MS-CNN)의 실세계 적용 일반화 능력을 향상시키기 위해.
• 도메인 적응을 탐지 헤드에 직접 통합하여 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 이 탐지 설정에서 애드버서리얼 적응과 차별 거리 기반 적응의 효과성을 비교하기 위해.
• 적절한 도메인 적응이 적용될 경우 합성 데이터가 실세계 연기 탐지에 효과적으로 활용될 수 있음을 보여주기 위해.

제안 방법

• 최신 단계 탐지기(SSD 및 MS-CNN)의 탐지 헤드에 도메인 적응을 통합하여, 분류, 위치 지정 및 적응을 엔드 투 엔드 방식으로 동시에 훈련한다.
• 탐지 레이어에서 도메인 구분자(discriminator)를 사용하여 애드버서리얼 적응을 적용함으로써 도메인 특수한 특징을 최소화하면서도 탐지에 관련된 표현을 유지한다.
• 훈련 중에 분류 및 위치 지정 손실과 함께 적응 손실을 함께 최적화함으로써, 도메인 불변 특징을 학습할 수 있도록 한다.
• 실제 연기 영상 데이터 세트에서 이 방법을 평가하였으며, 합성 데이터는 사전 훈련용으로 사용하고, 도메인 적응은 최적화를 위한 피니팅용으로 사용하였다.
• 이 방법은 부록 A에 자세히 기술된 바와 같이 이중 단계 탐지기로도 확장되었다.
• 재현성 및 향후 연구를 지원하기 위해 코드가 공개되었다.

실험 결과

연구 질문

• RQ1 탐지 헤드에서 애드버서리얼 도메인 적응이 합성 연기 데이터로 훈련된 단일 모델 탐지기가 실세계 영상 데이터로의 일반화를 향상시키는 데 효과적인가?
• RQ2 탐지 및 도메인 적응을 동시에 최적화하는 엔드 투 엔드 훈련 방식이 탐지 및 적응을 별도로 훈련하는 것과 비교해 어떻게 다를까?
• RQ3 영상 연기 탐지에서 도메인 이동을 줄이기 위해 애드버서리얼 적응이 차별 거리 기반 적응보다 뛰어난가?
• RQ4 효과적인 도메인 적응이 적용될 경우 합성 연기 데이터가 실세계 탐지 성능을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 방법은 이중 단계 탐지기로 어떻게 확장되며, 성능에 어떤 영향을 미치는가?

주요 결과

• 도메인 적응 없이 합성 데이터로 훈련된 원래 기준 탐지기 대비 제안된 방법이 상당히 뛰어난 성능을 보였다.
• 애드버서리얼 적응을 사용한 탐지기는 실재 연기 영상 데이터에서 차별 거리 기반 적응을 사용한 탐지기보다 더 높은 평균 정밀도(mAP)를 달성하였다.
• 분류, 위치 지정 및 도메인 적응을 함께 최적화하는 엔드 투 엔드 훈련은 더 나은 특징 정렬과 탐지 성능을 이끌어냈다.
• 모델는 실세계 연기 영상 시퀀스로의 일반화 능력이 뛰어나, 합성에서 실재로의 도메인 갭을 메우는 데 도메인 적응의 효과성을 입증하였다.
• 제거 분석(ablation study)을 통해 탐지 레이어에서의 도메인 적응이 초기 특징 추출 단계에서의 적응보다 더 효과적임을 확인하였다.
• 이 방법은 단일 단계(SSD, MS-CNN) 및 이중 단계 탐지기 모두에 효과적이며, 두 아키텍처에서 모두 성능 향상이 관찰되었다.