[論文レビュー] Hierarchical Task Learning from Language Instructions with Unified Transformers and Self-Monitoring

Yichi Zhang, Joyce Chai|arXiv (Cornell University)|Jun 7, 2021

Multimodal Machine Learning Applications参考文献 24被引用数 6

ひとこと要約

本稿では、統一的トランスフォーマーと自己監視を用いて、言語指示に基づくタスク実行を、部分的目標計画、ナビゲーション、操作に分解する階層的タスク学習フレームワーク、HiTUTを提案する。ALFREDベンチマークにおいて、未学習環境での成功確率において、先行研究比で160%の性能向上を達成し、明示的な階層的構造と動的バックトラッキングにより、優れた一般化性能と解釈可能性を示した。

ABSTRACT

Despite recent progress, learning new tasks through language instructions remains an extremely challenging problem. On the ALFRED benchmark for task learning, the published state-of-the-art system only achieves a task success rate of less than 10% in an unseen environment, compared to the human performance of over 90%. To address this issue, this paper takes a closer look at task learning. In a departure from a widely applied end-to-end architecture, we decomposed task learning into three sub-problems: sub-goal planning, scene navigation, and object manipulation; and developed a model HiTUT (stands for Hierarchical Tasks via Unified Transformers) that addresses each sub-problem in a unified manner to learn a hierarchical task structure. On the ALFRED benchmark, HiTUT has achieved the best performance with a remarkably higher generalization ability. In the unseen environment, HiTUT achieves over 160% performance gain in success rate compared to the previous state of the art. The explicit representation of task structures also enables an in-depth understanding of the nature of the problem and the ability of the agent, which provides insight for future benchmark development and evaluation.

研究の動機と目的

• 言語指示からのタスク学習におけるエンドツーエンドモデルの一般化性能の低さ、特に未学習環境における課題に対処すること。
• 明示的な階層的タスク構造のモデル化により、モデルの解釈可能性とエージェントの自律性を向上させること。
• タスク学習を、部分的目標計画、ナビゲーション、操作の3つの部分問題に分解することで、分析とモularityを向上させること。
• 失敗を処理し、新しい状況に適応するために、推論時に自己監視と動的バックトラッキングを可能にすること。
• 構造的分解とアブレーション解析を通じて、タスクの複雑さとモデルのボトル neck をより深く理解すること。

提案手法

• HiTUTは、部分的目標計画、ナビゲーション、操作の各段階において、言語指示、視覚的観測、行動シーケンスを統一的トランスフォーマーで同時にモデル化する。
• モデルはタスクの階層的構造を明示的に表現し、高レベルの目標をナビゲーションおよび操作行動を含む部分的目標に分解する。
• 自己監視は、達成済みの部分的目標を追跡し、障害が発生した際に計画の見直しを可能にする仕組みで実装される。
• フレームワークは推論時に動的再計画をサポートし、再トレーニングなしに例外に適応できる。
• タスクの分解により、部分問題ごとのモジュラー評価が可能となり、ナビゲーションなどのボトル neck を特定できる。
• 視覚的グランドイングはマスク生成器を介して別個にモデル化され、アブレーションスタディでその影響を分離して評価した。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドモデルと比較して、階層的・モジュラーなアプローチは、未学習環境における一般化性能を向上させ得るか？
• RQ2 明示的な部分的目標表現は、モデルの解釈性を向上させるとともに、自己監視とバックトラッキングを可能にするか？
• RQ3 ALFREDベンチマークにおいて、部分的目標計画、ナビゲーション、操作の相対的な難易度は何か？
• RQ4 言語指示は、操作およびナビゲーション行動の学習にどの程度寄与するか？視覚的グランドイングは性能にどのように影響するか？
• RQ5 タスクの分解は、モデルの制限要因とベンチマーク設計の深い分析をどのように支援するか？

主な発見

• HiTUTは、ALFREDベンチマークにおける未学習環境で、先行研究比で160%の成功確率向上を達成した。
• モデルの成功は、主に明示的な階層的構造と自己監視機能による一般化性能の向上に起因する。
• ナビゲーションが主なボトル neck であり、全訓練データを使用しても82%の正確性にとどまる一方、部分的目標および操作計画は、最小限のデータで90%を超える正確性を達成した。
• 言語指示は行動予測にほとんど寄与せず、除外した場合の性能低下は1%〜2%にとどまるため、データセットバイアスの可能性が示唆された。
• 行動引数の視覚的グランドイングが最も困難なコンポonent であり、オラクルオブジェクトマスクが提供された場合にのみ、性能がほぼ完璧に近づいた。
• オラクル部分的目標、ナビゲーション行動、視覚的グランドイングを備えた場合、操作行動予測はほぼ完璧な正確性に達し、行動タイプと引数の予測はグランドイングよりも単純であることが示唆された。