[論文レビュー] Comprehension-guided referring expressions

Ruotian Luo, Gregory Shakhnarovich|arXiv (Cornell University)|Jan 12, 2017

Multimodal Machine Learning Applications参考文献 24被引用数 16

ひとこと要約

本稿では、事前学習済みの理解モデルを学習信号または再順序付け基準として用いることで、高品質な参照表現を生成する新しいフレームワークを提案する。学習時（微分可能なプロキシ損失を介して）または推論時（生成・再順序付けを介して）に理解モデルによって生成をガイドすることで、文の自然さと参照的正確性の両方が著しく向上し、RefCOCOおよびRefCOCO+において自動評価および人的評価の両面でベースラインを上回る。

ABSTRACT

We consider generation and comprehension of natural language referring expression for objects in an image. Unlike generic "image captioning" which lacks natural standard evaluation criteria, quality of a referring expression may be measured by the receiver's ability to correctly infer which object is being described. Following this intuition, we propose two approaches to utilize models trained for comprehension task to generate better expressions. First, we use a comprehension module trained on human-generated expressions, as a "critic" of referring expression generator. The comprehension module serves as a differentiable proxy of human evaluation, providing training signal to the generation module. Second, we use the comprehension module in a generate-and-rerank pipeline, which chooses from candidate expressions generated by a model according to their performance on the comprehension task. We show that both approaches lead to improved referring expression generation on multiple benchmark datasets.

研究の動機と目的

• 参照表現生成を向上させるために、理解モデルを学習信号または推論基準として統合すること。
• 画像キャプションにおける信頼できる評価指標の欠如に応じて、人間の理解を代理として参照的正確性を焦点にした。
• GAN風の学習の不安定性を回避しながら、識別的フィードバックを活用する共同学習フレームワークを開発すること。
• 標準ベンチマーク上での理解モデルの学習時および推論時の統合の有効性を評価すること。

提案手法

• 人間がアノテートした参照表現を用いて、与えられた表現に対して正しい画像領域を予測する別個の理解モデルを学習する。
• 訓練中に、生成器が理解しやすい表現を生成するよう促進する識別的損失を提供するために、訓練済みの理解モデルを微分可能なプロキシとして使用する。
• 交差エントロピー損失と理解に基づく損失を組み合わせた「プロキシによる訓練」手法を実装し、生成器を同時に最適化する。
• 推論時に「生成・再順序付け」戦略を採用し、複数の候補表現を生成した後、理解スコアが最も高いものを選択する。
• 理解モデルを入力表現に関して微分可能に変更し、生成器を経由する逆誤差伝搬をエンドツーエンドで可能にする。
• 最適化の安定性を高めるために、複合損失、変更されたスケジュール付きサンプリング、および確率的混合インクリメンタル交差エントロピーなどの複数の訓練戦略を検討する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの理解モデルは、より理解しやすい参照表現の生成を効果的にガイドできるか？
• RQ2 学習時に理解フィードバックを統合することで、標準的な自己回帰的訓練よりも良い一般化性能が得られるか？
• RQ3 理解スコアを用いた推論時の再順序付け（生成・再順序付け）は、プロキシ監視によるエンドツーエンド学習と比べてどのように異なるか？
• RQ4 性能が異なるテストスプリット（例：RefCOCO+ TestA と TestB）で変動する理由は何か？また、その要因は何か？
• RQ5 複数の訓練目的（例：複合損失、SMIXEC）が、複数のデータセット全体で一貫した改善をもたらすか？

主な発見

• 生成・再順序付け手法は、RefCOCO TestB で人的評価精度75％を達成し、ベースラインのMMI手法（61％）を著しく上回った。
• RefCOCOでは、SMIXECプロキシによる訓練手法が68％の理解精度を達成し、ベースラインのMMI手法（61％）を上回り、自然さの指標も向上した。
• 生成・再順序付けアプローチは、すべてのベースラインを上回るBLEUおよびCIDErスコアを達成し、生成された表現の自然さと多様性が優れていることを示した。
• 人的評価により、提案手法（SMIXECおよびRerank）がベースラインのMMIモデルよりも情報量が多く、正確な参照表現を生成することが確認された。
• RefCOCO+では、SMIXEC手法がTestAで46％の人的正確度を達成し、Rerank手法がTestBで47％を達成し、テストスプリット全体にわたる強い一般化性能を示した。
• 生成・再順序付け手法は、単純なサンプリングベースライン（MLE+sample）を上回ったことから、理解に基づく再順序付けがサンプリングそのものよりも価値をもつことが証明された。