[논문 리뷰] Cross-Task Transfer for Multimodal Aerial Scene Recognition.

Di Hu, Xuhong Li외 6명|arXiv (Cornell University)|2020. 05. 18.

Speech and Audio Processing인용 수 6

한 줄 요약

이 논문은 항공 영상과 지리적 태그가 부착된 음향 이벤트를 결합한 새로운 다중모态 데이터셋 ADVANCE를 활용해 음향 이벤트 인식에서 항공 경관 인식으로의 교차 작업 전이 학습을 제안한다. 특정 지형 유형과 함께 공존하는 음향 단서를 활용하여 저자들은 음성-시각 지식 정련 및 대비 학습을 통해 항공 경관 분류 성능을 향상시켰으며, ADVANCE 데이터셋에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Aerial scene recognition is a fundamental task in remote sensing and has recently received increased interest. While the visual information from overhead images with powerful models and efficient algorithms yields considerable performance on scene recognition, it still suffers from the variation of ground objects, lighting conditions etc. Inspired by the multi-channel perception theory in cognition science, in this paper, for improving the performance on the aerial scene recognition, we explore a novel audiovisual aerial scene recognition task using both images and sounds as input. Based on an observation that some specific sound events are more likely to be heard at a given geographic location, we propose to exploit the knowledge from the sound events to improve the performance on the aerial scene recognition. For this purpose, we have constructed a new dataset named AuDio Visual Aerial sceNe reCognition datasEt (ADVANCE). With the help of this dataset, we evaluate three proposed approaches for transferring the sound event knowledge to the aerial scene recognition task in a multimodal learning framework, and show the benefit of exploiting the audio information for the aerial scene recognition. The source code is publicly available for reproducibility purposes.

연구 동기 및 목표

• 다양한 조명 조건과 객체 조건에서 이미지 중심의 항공 경관 인식의 한계를 해결하기 위해.
• 음향 이벤트 정보가 항공 경관 분류의 정확성과 내성에 기여할 수 있는지 탐색하기 위해.
• 음향 이벤트 인식에서 항공 경관 인식으로 지식을 전이하는 다중모달 학습 프레임워크를 개발하기 위해.
• 다음 연구를 지원하기 위해 새로운 벤치마크 데이터셋인 ADVANCE를 구축하기 위해.

제안 방법

• 항공 영상과 지리적 태그가 부착된 음향 이벤트를 결합한 새로운 음성-시각 항공 경관 인식 작업을 제안한다.
• 다양한 지리적 위치에서 동기화된 항공 영상과 해당 음향 기록을 포함하는 ADVANCE 데이터셋을 구축한다.
• 세 가지 교차 작업 전이 학습 방법을 설계한다: 음향 유도 지식 정련, 음향 감독을 통한 대비 학습, 이미지 및 음향 특징의 조기 융합.
• 이미지와 음향 입력을 모두 사용해 다중모달 모델을 훈련시키며, 음향 신호를 시각 모odal의 특징 학습을 이끄는 데 활용한다.
• 낮은 자원 또는 도전적인 시각 조건에서 시각 표현 학습을 향상시키기 위해 음향 이벤트 임베딩을 약한 감독으로 활용한다.
• 소스 코드를 공개하여 재현 가능성과 커뮤니티의 도입을 보장한다.

실험 결과

연구 질문

• RQ1 시각적 변형 조건 하에서 음향 이벤트 정보가 항공 경관 인식 정확도를 향상시킬 수 있는가?
• RQ2 음향 이벤트 인식에서 항공 경관 인식으로의 교차 작업 전이 학습은 얼마나 효과적인가?
• RQ3 항공 경관 분류에서 이미지와 음향 신호를 융합하는 데 가장 효과적인 다중모달 학습 전략은 무엇인가?
• RQ4 음향 신호의 포함이 조명 변화나 객체 변화와 같은 시각 도메인 이동에 대한 민감도를 감소시키는가?

주요 결과

• 제안된 음성-시각 학습 프레임워크는 ADVANCE 데이터셋에서 이미지 중심 기준 모델에 비해 뚜렷한 성능 향상을 달성한다.
• 음향 유도 지식 정련은 다양한 경관 유형에서 가장 일관된 성능 향상을 이끌어낸다.
• 음향 감독을 통한 대비 학습은 특히 저조도 조건에서 특징 일반화 능력을 향상시킨다.
• 음향 신호의 포함은 시각적 혼잡도가 높은 도시 지역과 같은 도전적인 경관에서 오류율을 감소시킨다.
• ADVANCE 데이터셋은 다중모달 원격 감지 분야의 새로운 연구 방향을 가능하게 하며, 향후 연구를 위한 강력한 기준을 제공한다.
• 코드와 데이터의 공개는 재현 가능성 향상과 음성-시각 경관 이해 분야의 진전을 가속화한다.