[論文レビュー] Dialog-based Interactive Image Retrieval

Xiaoxiao Guo, Hui Wu+4 more|arXiv (Cornell University)|May 1, 2018

Multimodal Machine Learning Applications参考文献 51被引用数 82

ひとこと要約

本論文は、自然言語のフィードバックを用いた対話型画像検索の強化学習フレームワークを提案し、ターゲット画像と候補画像の差を相対的に記述するユーザー・シミュレータで訓練され、靴カテゴリの検索において属性ベースおよび教師ありベースラインより優れた性能を示す。

ABSTRACT

Existing methods for interactive image retrieval have demonstrated the merit of integrating user feedback, improving retrieval results. However, most current systems rely on restricted forms of user feedback, such as binary relevance responses, or feedback based on a fixed set of relative attributes, which limits their impact. In this paper, we introduce a new approach to interactive image search that enables users to provide feedback via natural language, allowing for more natural and effective interaction. We formulate the task of dialog-based interactive image retrieval as a reinforcement learning problem, and reward the dialog system for improving the rank of the target image during each dialog turn. To mitigate the cumbersome and costly process of collecting human-machine conversations as the dialog system learns, we train our system with a user simulator, which is itself trained to describe the differences between target and candidate images. The efficacy of our approach is demonstrated in a footwear retrieval application. Experiments on both simulated and real-world data show that 1) our proposed learning framework achieves better accuracy than other supervised and reinforcement learning baselines and 2) user feedback based on natural language rather than pre-specified attributes leads to more effective retrieval results, and a more natural and expressive communication interface.

研究の動機と目的

• ユーザーのフィードバックが自然言語で与えられる対話型の画像検索設定を導入する。
• 応答エンコード、状態追跡、候補生成を統合したエンドツーエンドのダイアログマネージャーアーキテクチャを開発する。
• ターゲット画像と候補画像の差を説明する相対的キャプションを提供するユーザーシミュレータを用いた効率的なRL訓練を可能にする。
• トレーニングと評価をサポートする相対的な画像キャプショニングと新しいデータセットを提案する。
• 自然言語フィードバックが固定属性フィードバックを上回ること、そしてランク最適化RLが検索性能を向上させることを示す。

提案手法

• 3コンポーネントのダイアログマネージャー：応答エンコード、状態トラッカー（GRU）、および s_t と上位 K 最近傍の画像特徴に基づいて次の候補を選択する候補生成器。
• 応答エンコーダは ImgEnc からの画像表現と TxtEnc からのテキスト表現を x_t に統合し、線形射影 W を適用して結合表現を得る。
• 訓練は、ターゲット画像のランクに基づく報酬の期待値を割引付きで最大化するRL目的を用い、ユーザーシミュレータを活用したモデルベースのポリシー改善ステップを含む。
• 相対キャプショニングに基づくユーザーシミュレータは、ターゲット画像と候補画像の差を説明する単発のフィードバックを生成する；このシミュレータは新しい相対キャプショニングデータセットで訓練される。
• 教示付きの事前学習では、ターゲット画像表現を履歴状態に近づけ、ランダム画像を遠ざけるトリプレット損失 L_sup を用い、その後ポリシーを洗練させるためのモデルベースのポリシー改善を行う。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された属性フィードバックと比較して、自然言語フィードバックは対話型画像検索を改善できるか？
• RQ2 フィードバックと最適化をユーザーシミュレータを用いた強化学習問題としてモデル化することで、複数の対話ターンにわたってより良い検索ランクを得られるか？
• RQ3 事前学習とモデルベースのポリシー改善の組み合わせと、純粋な教師あり学習または純粋なRL訓練との比較で影響はどうなるか？
• RQ4 相対キャプショニングデータセットは、対話ベースの検索の現実的なユーザーシミュレータを効果的に訓練できるか？
• RQ5 属性ベースのベースラインと比較して、実ユーザースタディでの本手法の性能はどの程度か？

主な発見

• 自然言語フィードバックを用いるRLフレームワークは、教師ありトリプレット損失および属性ベースのベースラインより高い検索精度を達成する。
• 自然言語フィードバックは、対話の各ターンを通じて事前定義された相対属性よりも効果的な検索を実現する。
• 決定的なユーザーシミュレータを用いたモデルベースのポリシー改善は、SCSTベースラインよりも優れている。
• 靴の検索では、対話ベースの手法が実ユーザーで約89.9%のランク付けパーセンタイルを達成し、WhittleSearch（属性ベース）は約70.3%だった。
• エージェントはシミュレーションでわずか2つの対話ターンで平均ランキングパーセンタイル98%を達成した。