[論文レビュー] See, Hear, Explore: Curiosity via Audio-Visual Association

Victoria Dean, Shubham Tulsiani+1 more|arXiv (Cornell University)|Jul 7, 2020

Cognitive Science and Education Research参考文献 42被引用数 18

ひとこと要約

本論文は、将来の状態を予測するのではなく、新しい音声・視覚的関連性を発見することを報酬とする、強化学習における新しい好奇心駆動型探索手法「See, Hear, Explore (SHE)」を提案する。マルチモーダルなセンサ入力を活用することで、SHEはアタリゲームおよびHabitatナビゲーションシミュレータの両方で、より効率的かつ頑健な探索を達成し、将来予測に基づくベースラインを上回る。特にノイズが多い条件下でも顕著な優位性を示す。

ABSTRACT

Exploration is one of the core challenges in reinforcement learning. A common formulation of curiosity-driven exploration uses the difference between the real future and the future predicted by a learned model. However, predicting the future is an inherently difficult task which can be ill-posed in the face of stochasticity. In this paper, we introduce an alternative form of curiosity that rewards novel associations between different senses. Our approach exploits multiple modalities to provide a stronger signal for more efficient exploration. Our method is inspired by the fact that, for humans, both sight and sound play a critical role in exploration. We present results on several Atari environments and Habitat (a photorealistic navigation simulator), showing the benefits of using an audio-visual association model for intrinsically guiding learning agents in the absence of external rewards. For videos and code, see https://vdean.github.io/audio-curiosity.html.

研究の動機と目的

• 外部報酬なしにおける強化学習における効率的探索の課題に取り組む。
• 高次元空間において学習が困難でノイズに敏感な、将来予測に基づく好奇心の限界を克服する。
• 視覚と音声の間のマルチモーダルな関連性が、より強力で頑健な内発的報酬信号を提供できるかどうかを検討する。
• 標準的なアタリ環境および現実的で写真のようなリアルなナビゲーションシミュレータ（Habitat）において、本手法を評価する。
• 音声・視覚的関連性に基づく好奇心が、既存のベースラインと比較してよりサンプル効率的でノイズに強い学習を実現するかどうかを示す。

提案手法

• 本手法は、音声と視覚的特徴が同じイベントから来ているか（ポジティブペア）を分類するマルチモーダルな識別器を訓練するための対照的学習フレームワークを用いる。
• 内発的報酬は、音声・視覚的対照的予測ヘッドの交差エントロピー損失として定義され、モデルが正しい感覚ペアを関連付ける能力を測定する。
• 音声・視覚的関連性分類器の不確実性や低信頼度が高まるような行動に対してエージェントが報酬を受け取り、これは新しい関連性を示している。
• 音声および視覚的特徴は、それぞれ別個のCNN（例：視覚にはResNet-18、音声には1次元CNN）を用いて抽出され、その後対照的ヘッド用に連結される。
• 本手法は完全な将来状態予測器を学習するのを避ける一方で、モダリティ間で共有される表現を学習することに焦点を当てる。
• 本手法はポリシーとエンド・ツー・エンドで訓練され、対照的損失を内発的報酬信号として用い、探索を誘導する。

実験結果

リサーチクエスチョン

• RQ1 将来予測よりも音声・視覚的関連性が、強化学習におけるより頑健で効果的な内発的報酬信号として機能できるか？
• RQ2 マルチモーダルな好奇心は、高い確率的変動性やセンサノイズがある環境でも、より効率的な探索を実現できるか？
• RQ3 Habitatシミュレータのような複雑で現実的な環境において、音声・視覚的好奇心は標準的な好奇心ベースラインと比較してどの程度の性能を示すか？
• RQ4 音声・視覚的関連性に基づく好奇心は、単純なアタリゲームから写真のようなリアルな3次元ナビゲーションに至るまで、多様なタスクや環境に一般化可能か？
• RQ5 将来予測に基づく好奇心と比較して、本手法はサンプル効率的で入力ノイズに対してより頑健か？

主な発見

• SHEは12個のアタリゲームのうち10個で標準的な好奇心ベースラインを上回り、より高いサンプル効率と一貫性のある探索を達成した。
• Habitatシミュレータにおいて、SHEはエリアカバレッジと探索効率の両面でベースラインを著しく上回り、現実的で複雑な環境でも優れた性能を示した。
• 本手法はノイズに対してより頑健である：視覚的および音声的特徴にガウスノイズを追加した場合、将来予測ベースラインと比較して性能の低下が著しく小さい。
• MsPacman、SpaceInvaders、Asterixのノイズありバージョンにおいても、SHEは安定した性能を維持したが、将来予測ベースラインは顕著な性能低下を示した。
• 将来予測と音声・視覚的対照的損失を併用した統合手法は、12個のアタリゲームのうち10個で個々のコンponentを上回った。
• アブレーションスタディの結果、視覚的特徴のみを用いる場合と比較して、音声および視覚的特徴を併用することで性能が向上し、マルチモーダルな関連性の重要性が裏付けられた。