[論文レビュー] A Joint Speaker-Listener-Reinforcer Model for Referring Expressions

Licheng Yu, Hao Tan+2 more|arXiv (Cornell University)|Dec 30, 2016

Multimodal Machine Learning Applications参考文献 11被引用数 5

ひとこと要約

本論文は、参照表現生成と理解のための統合的スピーカー・リスナー・強化モジュールモデルを提案する。スピーカーは表現を生成し、リスナーはそれらを理解し、強化モジュールは一意で判別可能な表現を最適化する。このフレームワークは、エンドツーエンド学習と報酬ベースの再ランク付け機構を用いて、MSCOCOに基づく3つの参照表現データセットで最先端の性能を達成する。

ABSTRACT

Referring expressions are natural language constructions used to identify particular objects within a scene. In this paper, we propose a unified framework for the tasks of referring expression comprehension and generation. Our model is composed of three modules: speaker, listener, and reinforcer. The speaker generates referring expressions, the listener comprehends referring expressions, and the reinforcer introduces a reward function to guide sampling of more discriminative expressions. The listener-speaker modules are trained jointly in an end-to-end learning framework, allowing the modules to be aware of one another during learning while also benefiting from the discriminative reinforcer's feedback. We demonstrate that this unified framework and training achieves state-of-the-art results for both comprehension and generation on three referring expression datasets. Project and demo page: https://vision.cs.unc.edu/refer

研究の動機と目的

• 参照表現タスクにおけるスピーカーとリスナーの行動を統合的にモデル化するフレームワークの構築。
• 判別的な報酬に基づく強化モジュールを導入することで、参照表現の曖昧さに対処。
• 相互監視を用いたエンドツーエンド学習により、参照表現生成と理解の両方を向上。
• 真の境界ボックスの代わりにオブジェクト検出器を用いることで、現実的条件下でも強固な性能を示すことを実証。

提案手法

• モデルは3つのコンポonentを統合する：表現を生成するスピーカー（LSTMベースのデコーダー）、表現を理解するリスナー（埋め込みベースのモデル）、判別的な表現を最適化する強化モジュール（強化学習を用いる）。
• スピーカーとリスナーはエンドツーエンドで同時に学習され、学習中に相互フィードバックが可能になる。
• 強化モジュールは、曖昧な表現をペナルティとして課す判別的な報酬関数を採用し、スピーカーがより一意な記述へと誘導する。
• リスナーと強化モジュールを用いた再ランク付け機構により、シーン内のすべてのオブジェクト全体にわたる表現のグローバル最適化が実現される。
• 理解のための共同埋め込み空間と、生成のための条件付き言語モデルを用い、局所化のための事後確率をベイズ推論で計算する。
• 生成のためのクロスエントロピー損失と、判別的正確度に基づく報酬信号を用いた強化学習の組み合わせによりモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 相互監視を用いた統合的フレームワークは、参照表現生成と理解を同時に最適化できるか？
• RQ2 判別的な報酬関数を組み込むことで、生成された表現の質と一意性はどのように向上するか？
• RQ3 スピーカーとリスナーのモジュールをエンドツーエンドで学習することで、個別に学習する場合と比較して性能はどの程度向上するか？
• RQ4 真の境界ボックスの代わりに自動オブジェクト検出器を用いた場合、統合モデルは依然として高い性能を維持できるか？

主な発見

• 再ランク付けを施した完全なモデルは、RefCOCO Test AとBでそれぞれ76.95%および78.10%の精度を達成し、先行研究の最先端手法を上回った。
• RefCOCO+では、Test AとBでそれぞれ58.85%および58.20%の精度を記録し、新たな最先端結果を樹立した。
• 強化モジュールの追加により、それなしのモデルと比較して理解性能が最大2.8%向上した。特に曖昧な状況下で顕著な改善が見られた。
• 人的評価により、再ランク付けを施した統合モデルは、ベースラインモデルと比較してより正確で曖昧でない表現を生成することが確認された。
• SSDオブジェクト検出器（0.3の信頼度閾値）を用いても、モデルは強固な性能を維持しており、検出誤りへの耐性があることが示された。
• アブレーションスタディにより、リスナー、強化モジュール、再ランク付けの各コンponentが性能向上に独立して寄与していることが確認された。