[論文レビュー] Do Autonomous Agents Benefit from Hearing?

Abraham Woubie, Anssi Kanervisto+2 more|arXiv (Cornell University)|May 10, 2019

Neural dynamics and brain function参考文献 17被引用数 5

ひとこと要約

本稿では、強化学習における自律エージェントが聴覚入力を通じて恩恵を受けるかどうかを調査し、ViZDoom環境において視覚状態表現に生の音声およびピッチ特徴を追加することで検証した。結果として、視覚と音声を組み合わせることで、ゴールに到達する平均ステップ数が最大57%削減され、成功確率は43%から87%に上昇した。これは、視覚が遮蔽された状況下でも聴覚がナビゲーション性能を顕著に向上させることを示している。

ABSTRACT

Mapping states to actions in deep reinforcement learning is mainly based on visual information. The commonly used approach for dealing with visual information is to extract pixels from images and use them as state representation for reinforcement learning agent. But, any vision only agent is handicapped by not being able to sense audible cues. Using hearing, animals are able to sense targets that are outside of their visual range. In this work, we propose the use of audio as complementary information to visual only in state representation. We assess the impact of such multi-modal setup in reach-the-goal tasks in ViZDoom environment. Results show that the agent improves its behavior when visual information is accompanied with audio features.

研究の動機と目的

• 自律エージェントがナビゲーションタスクにおいて聴覚入力を通じて性能向上を達成するかどうかを調査すること。
• 生の音声およびピッチ特徴を視覚状態表現の補完的感覚入力として与える影響を評価すること。
• 複雑で視覚的に遮蔽された環境において、間欠的または継続的な音声入力のどちらがより大きな利点をもたらすかを特定すること。
• 視覚の視線が制限される状況において、音声が学習効率および成功確率を向上させるかどうかを評価すること。
• エージェントの認識に音声認識ではなく生の音声を使用する可能性および利点を検討すること。

提案手法

• 本研究では、ViZDoom環境でゴールに到達するタスクを解くために訓練されたDeep Q-Network（DQN）エージェントを用いた。
• 状態表現は、視覚ピクセルに加えて、音声信号から抽出された生の音声波形またはピッチ特徴を組み合わせた。
• エージェントは、時間ステップごまたは特定の確率（20%、50%）で音声入力を受信する実験を別々に実施した。
• 学習の安定化のため、経験リプレイとターゲットネットワークを用い、Q関数は深層ニューラルネットワークで近似した。
• 環境は、5つの部屋のいずれかにランダムに配置されたゴールを含むように設定されており、壁の配置によりゴールに到達できない状況も含まれる。
• 性能評価は、100回のテストエピソードにおける平均成功確率および平均ゴール到達ステップ数を用いて行った。

実験結果

リサーチクエスチョン

• RQ1 視覚状態表現に音声特徴を追加することで、強化学習エージェントのナビゲーションタスクにおける性能が向上するか？
• RQ2 生の音声またはピッチ特徴を用いる場合と視覚のみの入力とを比較した場合、学習効率および成功確率にどのような差が生じるか？
• RQ3 トレーニングおよび推論中に音声特徴を間欠的または継続的に使用した場合、それぞれにどのような影響があるか？
• RQ4 視覚のみの認識に限界がある遮蔽されたり複雑な環境において、音声入力がエージェントの性能を向上させられるか？
• RQ5 視覚的ヒントが不足する状況において、音声入力がゴールに到達するまでのステップ数を削減できるか？

主な発見

• 視覚と生の音声特徴を組み合わせた場合、5つの部屋にランダムに配置されたゴールを含む状況で、平均成功確率が視覚のみの43%から87%に上昇した。
• ピッチ特徴を視覚入力に追加した場合、ゴールに到達する平均ステップ数は視覚のみの1,420ステップから614ステップに減少した。
• 音声特徴を常に使用するエージェントは最終的な平均報酬が-800を記録し、音声をたまにのみ使用する（20%または50%の確率）場合の平均報酬-1,000よりも顕著に優れていた。
• 固定された部屋のシナリオでは、視覚のみのエージェントは平均132ステップで99%の成功を達成したが、視覚＋生の音声では99%の成功を98ステップで達成した。
• 音声特徴の追加により、視覚的に複雑または遮蔽された環境において、視覚のみのエージェントが苦戦する状況でも、エージェントがより信頼性高くナビゲートできるようになった。
• 結果から、聴覚入力が意思決定を強化する意味のある補完的情報を提供することが確認された。