[논문 리뷰] Cross-Task Transfer for Geotagged Audiovisual Aerial Scene Recognition

Di Hu, Xuhong Li외 6명|arXiv (Cornell University)|2020. 05. 18.

Music and Audio Processing참고 문헌 37인용 수 5

한 줄 요약

이 논문은 지도가 매겨진 오디오시각 항공 영상 인식을 위한 새로운 교차 작업 전이 프레임워크를 제안하며, 음향 이벤트 지식을 활용해 시각적 영상 분류 성능을 향상시킨다. 세 가지 다중모달 학습 접근법—음향 이벤트 인식 능력 유지, 상호 표현 학습, 사후 확률 사용—을 도입함으로써, 새로 구축한 ADVANCE 데이터셋에서 뚜렷한 성능 향상을 달성하였으며, 이는 시각 모odal리티 외에도 청각 자료가 항공 영상 인식에 기여함을 보여준다.

ABSTRACT

Aerial scene recognition is a fundamental task in remote sensing and has recently received increased interest. While the visual information from overhead images with powerful models and efficient algorithms yields considerable performance on scene recognition, it still suffers from the variation of ground objects, lighting conditions etc. Inspired by the multi-channel perception theory in cognition science, in this paper, for improving the performance on the aerial scene recognition, we explore a novel audiovisual aerial scene recognition task using both images and sounds as input. Based on an observation that some specific sound events are more likely to be heard at a given geographic location, we propose to exploit the knowledge from the sound events to improve the performance on the aerial scene recognition. For this purpose, we have constructed a new dataset named AuDio Visual Aerial sceNe reCognition datasEt (ADVANCE). With the help of this dataset, we evaluate three proposed approaches for transferring the sound event knowledge to the aerial scene recognition task in a multimodal learning framework, and show the benefit of exploiting the audio information for the aerial scene recognition. The source code is publicly available for reproducibility purposes.

연구 동기 및 목표

• 다양한 조명 조건, 센서, 계절적 변화 하에서 시각적 영상 인식의 한계를 해결하기 위해.
• 지역에 관계없이 유사한 지표를 제공하는 지도가 매겨진 음향 이벤트가 시각적 영상 분류 향상에 보완적인 정보를 제공할 수 있는지 조사하기 위해.
• 음향 이벤트 인식에서 항공 영상 인식으로 지식을 전이하는 다중모달 학습 프레임워크를 개발하고 검증하기 위해.
• 기준 측정을 위해 대규모이고 세계적으로 다양한 배치의 쌍체 지도가 매겨진 항공 영상과 오디오 클립 데이터셋을 구축하기 위해.
• 음향 이벤트와 장면 카테고리 간의 내재된 상관관계를 활용한 교차 작업 전이의 효과성을 입증하기 위해.

제안 방법

• 쌍체 지도가 매겨진 영상과 오디오 클립을 사용한 새로운 오디오시각 항공 영상 인식 작업을 제안하였다.
• 13개의 글로벌 장면 카테고리에 걸쳐 5075개의 이미지-음향 쌍을 포함한 ADVANCE 데이터셋을 구축하였다.
• 세 가지 교차 작업 전이 접근법을 설계하였다: (1) 음향 이벤트 인식 능력 유지, (2) 모odal 간 상호 표현 학습, (3) 장면에 대한 음향 이벤트의 사후 확률 사용.
• 장면-이벤트 및 이벤트-장면 전이를 모델링하기 위해 보조 손실 함수를 포함한 다중작업 학습 프레임워크를 제안하였다: $L_{SQ|N_{v+a}}$, $L_{KL|N_{v+a}}$, 및 $L_E$.
• 모델 주의력과 임베딩의 분리 가능성을 해석하기 위해 클래스 활성화 맵(CAM)과 t-SNE 시각화를 활용하였다.
• 제거 실험과 교차 검증을 통해 각 구성 요소가 인식 성능에 기여하는 바를 평가하였다.

실험 결과

연구 질문

• RQ1 지역에 특화된 지도가 매겨진 음향 이벤트가 시각 데이터 외에도 항공 영상 인식 성능 향상에 신뢰할 수 있는 정보를 제공할 수 있는가?
• RQ2 음향 이벤트 인식에서 유래한 지식을 어떻게 효과적으로 전이하여 시각적 항공 영상 인식 성능을 향상시킬 수 있는가?
• RQ3 다양한 교차 작업 전이 메커니즘—모달 전용 능력 유지, 상호 표현 학습, 사후 확률 모델링—이 인식 정확도에 미치는 영향은 어떠한가?
• RQ4 음향 이벤트와 장면 카테고리 간의 상관관계가 다양한 지리적 지역 간 모델 일반화 능력 향상에 어느 정도 기여하는가?
• RQ5 교차 작업 전이를 통한 다중모달 융합이 단순히 시각 및 청각 특징을 연결하는 것보다 성능이 뛰어나게 되는가?

주요 결과

• 제안된 교차 작업 전이 프레임워크는 단일 모달 시각 모델과 단순 특징 연결 방식에 비해 항공 영상 인식 성능을 뚜렷이 향상시켰다.
• 사후 확률을 사용한 접근법($L_E$)이 이미지 모달에서 73.44 ± 0.45의 F-score를 기록하여 베이스라인(64.04 ± 1.07 F-score)과 다른 변형들보다 뛰어난 성능을 보였다.
• 제거 실험을 통해 장면-이벤트 전이($L_{E_1}$)와 이벤트 관련성 모델링($L_{E_2}$)이 함께 성능 향상에 기여하였으며, F-score가 42.50 ± 0.42에서 48.65 ± 0.85로 상승하였다.
• t-SNE 시각화 결과, 다중모달 교차 작업 모델($L_{SQ|N_{v+a}}$ 및 $L_E$)은 예측된 음향 이벤트 분포에 기반해 장면 카테고리를 성공적으로 분리한 반면, 단일 모달 또는 잘 정렬되지 않은 접근 방식은 그렇지 못했다.
• $L_{E_1}$를 사용한 청각 전용 베이스라인은 54.23 ± 1.14의 F-score를 기록하여, 적절히 전이된 경우 음향 지식만으로도 의미 있는 장면 구분이 가능함을 보여주었다.
• 본 연구는 교차 작업 전이가 음향 이벤트와 지리적 장면 간의 내재된 상관관계를 효과적으로 활용하여 다양한 원격 감시 조건에서도 강력하고 일반화 가능한 인식이 가능하다는 점을 확인하였다.