[論文レビュー] Cross-Task Transfer for Geotagged Audiovisual Aerial Scene Recognition

Di Hu, Xuhong Li+6 more|arXiv (Cornell University)|May 18, 2020

Music and Audio Processing参考文献 37被引用数 5

ひとこと要約

本論文は、音声イベントの知識を活用して視覚的シーン分類を向上させる、地理的位置情報が付与された音声視覚航空写真認識のための新規なクロスタスク転移フレームワークを提案する。3つのマルチモーダル学習アプローチ（音声イベント認識能力の維持、相互表現の学習、事後確率の使用）を導入することで、新たに構築されたADVANCEデータセット上で顕著な性能向上を達成し、視覚モalityのみに依存する場合と比較して音声の手がかりが航空写真認識を向上させることを示している。

ABSTRACT

Aerial scene recognition is a fundamental task in remote sensing and has recently received increased interest. While the visual information from overhead images with powerful models and efficient algorithms yields considerable performance on scene recognition, it still suffers from the variation of ground objects, lighting conditions etc. Inspired by the multi-channel perception theory in cognition science, in this paper, for improving the performance on the aerial scene recognition, we explore a novel audiovisual aerial scene recognition task using both images and sounds as input. Based on an observation that some specific sound events are more likely to be heard at a given geographic location, we propose to exploit the knowledge from the sound events to improve the performance on the aerial scene recognition. For this purpose, we have constructed a new dataset named AuDio Visual Aerial sceNe reCognition datasEt (ADVANCE). With the help of this dataset, we evaluate three proposed approaches for transferring the sound event knowledge to the aerial scene recognition task in a multimodal learning framework, and show the benefit of exploiting the audio information for the aerial scene recognition. The source code is publicly available for reproducibility purposes.

研究の動機と目的

• 変動する照明条件、センサー、季節的要因に起因する視覚のみの航空写真認識の限界を是正すること。
• 地理的位置情報が付与された音声イベントが、視覚的認識を向上させるための補完的で場所に依存しない手がかりを提供できるかどうかを調査すること。
• 音声イベント認識から航空写真認識へ知識を転移するマルチモーダル学習フレームワークの開発と検証すること。
• ベンチマーク用に、大規模かつグローバルに多様なペアの地理的位置情報が付与された航空写真と音声クリップから構成されるデータセットを構築すること。
• 音声イベントとシーンカテゴリの間に内在する相関を活用するクロスタスク転移の有効性を実証すること。

提案手法

• ペアの地理的位置情報が付与された画像と音声クリップを用いた、新規な音声視覚航空写真認識タスクを提案した。
• 13のグローバルなシーンカテゴリにまたがる5075組の画像-音声ペアを含むADVANCEデータセットを構築した。
• 3つのクロスタスク転移アプローチを設計した：(1) 音声イベント認識能力の維持、(2) モダリティ間の相互表現の学習、(3) シーンに与えられた音声イベントの事後確率の使用。
• シーンからイベントへの転移とイベントからシーンへの転移をモデル化するため、補助損失関数 $L_{SQ|N_{v+a}}$, $L_{KL|N_{v+a}}$, および $L_E$ を用いたマルチタスク学習フレームワークを定式化した。
• モデルの注目メカニズムと埋め込みの分離性を解釈するために、クラスアクティビティマッピング（CAM）とt-SNE可視化を用いた。
• アブレーションスタディと交差検証を用いて、各コンポonentが認識性能に与える寄与度を評価した。

実験結果

リサーチクエスチョン

• RQ1 地理的位置情報が付与された音声イベントは、視覚的データに加えて、航空写真認識を向上させる信頼性があり場所に特化した手がかりを提供できるか？
• RQ2 音声イベント認識からの知識を効果的に転移させることで、視覚的航空写真認識をどのように向上させられるか？
• RQ3 異なるクロスタスク転移メカニズム（モダリティ固有の能力を維持する、相互表現を学習する、事後確率をモデル化する）が、認識精度に与える影響は何か？
• RQ4 音声イベントとシーンカテゴリの相関が、多様な地理的地域にまたがるモデルの一般化性能にどの程度寄与するか？
• RQ5 クロスタスク転移によるマルチモーダル統合は、視覚的および音声的特徴の単純な連結よりも優れているか？

主な発見

• 提案されたクロスタスク転移フレームワークは、単一モダリティの視覚モデルや単純な特徴連結と比較して、航空写真認識性能を顕著に向上させた。
• 事後確率を用いたアプローチ（$L_E$）が、画像モダリティで73.44 ± 0.45のFスコアを達成し、ベースライン（64.04 ± 1.07のFスコア）および他のバリエーションを上回った。
• アブレーションスタディにより、シーンからイベントへの転移（$L_{E_1}$）とイベントの関連性モデリング（$L_{E_2}$）が併用されることで性能が向上し、Fスコアが42.50 ± 0.42から48.65 ± 0.85に上昇した。
• t-SNE可視化により、マルチモーダルクロスタスクモデル（$L_{SQ|N_{v+a}}$ と $L_E$）が、予測された音声イベント分布に基づいてシーンカテゴリを明確に分離していることが示された。一方、単一モダリティまたは適切に一致しないアプローチではそのような分離は見られなかった。
• $L_{E_1}$ を用いた音声のみのベースラインは54.23 ± 1.14のFスコアを達成し、適切に転移された場合、音声知識のみで意味のあるシーン識別が可能であることを示した。
• 本研究は、音声イベントと地理的シーンの間に内在する相関を効果的に活用することで、多様なリモートセンシング条件下でも頑健で一般化可能な認識が可能になることを確認した。