[論文レビュー] Teaching Machines to Describe Images via Natural Language Feedback

Huan Ling, Sanja Fidler|arXiv (Cornell University)|Jun 1, 2017

Multimodal Machine Learning Applications参考文献 28被引用数 32

ひとこと要約

本論文は、自然言語フィードバックを用いて非専門家が画像キャプションモデルを教えることを可能にする強化学習フレームワークを提案する。階層的フレーズベースRNNとフィードバックネットワークを用い、記述的訂正を解釈・適用する。本モデルは、人間が提供する言語的フィードバックを活用することで、正解キャプションのみで訓練されたモデルよりも優れたキャプション品質と正確性を達成する。

ABSTRACT

Robots will eventually be part of every household. It is thus critical to enable algorithms to learn from and be guided by non-expert users. In this paper, we bring a human in the loop, and enable a human teacher to give feedback to a learning agent in the form of natural language. We argue that a descriptive sentence can provide a much stronger learning signal than a numeric reward in that it can easily point to where the mistakes are and how to correct them. We focus on the problem of image captioning in which the quality of the output can easily be judged by non-experts. We propose a hierarchical phrase-based captioning model trained with policy gradients, and design a feedback network that provides reward to the learner by conditioning on the human-provided feedback. We show that by exploiting descriptive feedback our model learns to perform better than when given independently written human captions.

研究の動機と目的

• 非専門家が数値報酬の代わりに自然言語フィードバックを使用して、画像キャプションエージェントを指導できるようにすること。
• 強化学習における疎なまたは数値的な報酬の限界を克服するため、具体的な誤りを特定し、訂正を提案する記述的フィードバックを用いること。
• 人間のフィードバックと自然に統合できるスケーラブルな階層的フレーズベースのキャプションモデルを設計すること。
• 記述的フィードバックが、独立して書かれた人間のキャプションで訓練するのと比較して、より優れたキャプション性能をもたらすかどうかを示すこと。

提案手法

• キャプション生成に階層的フレーズベースRNNを用い、フィードバックのターゲティングを支援するためのフレーズ局在化を可能にするアテンション機構を備える。
• 人間の教師がウェブインターフェースを通じてフィードバックを提供し、誤ったフレーズを特定し、自然言語で訂正を提案する。
• フィードバックネットワークを訓練し、人間のフィードバックを報酬信号に変換し、強化学習における方策勾配の形状に用いる。
• フィードバックを濃密で情報豊富な報酬信号として用い、方策勾配強化学習を用いてモデルをファインチューニングする。
• フィードバックは三つ組みとして構造化される：誤りの特定、訂正の提案、フレーズレベルのアライメント。これにより、正確な方策更新が可能になる。
• 本フレームワークは、正解キャプションで訓練されたモデルやベースラインRLエージェントと比較して、性能評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 非専門家からの自然言語フィードバックは、標準的な教師あり学習を上回る画像キャプション性能を向上させることができるか？
• RQ2 記述的フィードバックは、画像キャプションのための方策学習をガイドする上で、数値報酬と比較してどのように優れているか？
• RQ3 階層的フレーズベースキャプションモデルは、フレーズレベルで人間のフィードバックを効果的に統合できるか？
• RQ4 具体的な誤りを特定し、訂正を提案するフィードバックは、より速く正確な学習をもたらすか？

主な発見

• 人間が提供する自然言語フィードバックを用いて訓練したモデルは、同じ数の正解キャプションでのみ訓練されたモデルを上回る性能を示した。
• 特定のフレーズを特定し、訂正を提案するフィードバックは、より正確で文脈的に適切なキャプションを生成する。
• 階層的フレーズベースモデルにより、フィードバックとモデル出力との間の正確なアライメントが可能となり、方策勾配学習における責任割り当てが向上した。
• 定性的な結果から、フィードバックが物体識別エラー（例：'cat' から 'dog' への訂正）や構造的問題（欠落した物体や誤った前置詞）の是正に役立つことが示された。
• フィードバックネットワークは、言語的訂正を効果的に解釈し、有効な方策更新に変換できており、一般化性能と頑健性の向上に寄与した。
• 一部のケースでは、MLEおよびベースラインRLモデルでさえも、人間がアノテートしたキャプションで訓練された場合と比較して、フィードバックベースのモデルがより正確なキャプションを生成した。