[論文レビュー] Chatting Makes Perfect: Chat-based Image Retrieval

Matan Levy, Rami Ben‐Ari+2 more|arXiv (Cornell University)|May 31, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、大規模言語モデルを活用して対話形式でユーザーの照会を段階的に精緻化するチャットベースの画像検索システム、ChatIRを紹介する。5ラウンドの対話後、5万枚の画像からなるデータセットで78%の検索精度を達成。これは、1回のクエリによるテキストから画像への検索（64%）や人間による質問を伴う対話（75%）を上回り、基盤モデルとBLIP2を合成回答者として用いた新規の評価パイプラインを活用することで実現された。

ABSTRACT

Chats emerge as an effective user-friendly approach for information retrieval, and are successfully employed in many domains, such as customer service, healthcare, and finance. However, existing image retrieval approaches typically address the case of a single query-to-image round, and the use of chats for image retrieval has been mostly overlooked. In this work, we introduce ChatIR: a chat-based image retrieval system that engages in a conversation with the user to elicit information, in addition to an initial query, in order to clarify the user's search intent. Motivated by the capabilities of today's foundation models, we leverage Large Language Models to generate follow-up questions to an initial image description. These questions form a dialog with the user in order to retrieve the desired image from a large corpus. In this study, we explore the capabilities of such a system tested on a large dataset and reveal that engaging in a dialog yields significant gains in image retrieval. We start by building an evaluation pipeline from an existing manually generated dataset and explore different modules and training strategies for ChatIR. Our comparison includes strong baselines derived from related applications trained with Reinforcement Learning. Our system is capable of retrieving the target image from a pool of 50K images with over 78% success rate after 5 dialogue rounds, compared to 75% when questions are asked by humans, and 64% for a single shot text-to-image retrieval. Extensive evaluations reveal the strong capabilities and examine the limitations of CharIR under different settings. Project repository is available at https://github.com/levymsn/ChatIR.

研究の動機と目的

• 曇りや不完全な記述による結果の悪化を招く、1回のクエリによるテキストから画像への検索の限界を是正すること。
• 静的クエリとは対照的に、画像検索における対話的検索がより自然で効果的であるかを検証すること。
• BLIP2を用いて人間のような回答を生成する合成回答者を活用し、スケーラブルなチャットベースの画像検索の評価フレームワークを構築すること。
• 対話のダイナミクス、質問の質、モデルの学習戦略が検索パフォーマンスに与える影響を調査すること。

提案手法

• 本システムは2段階のアーキテクチャを採用：対話履歴から画像を検索する画像検索（IS）と、次なる質問を生成する対話構築（DB）。
• 画像検索モデル $F$ は、対話シーケンスを視覚的埋め込み空間にマップするテキストエンコーダーであり、さまざまなマスキング戦略を用いて訓練される。
• 対話構築モジュール $G$ は、インstructチューニングを施したLLMに基づく質問生成器であり、対話履歴全体を踏まえた文脈に即した次なる質問を生成する。
• 評価時には、人間の回答を模倣する合成回答者（BLIP2）が使用され、人間を介在させないスケーラブルなベンチマークが可能になる。
• システムはVisDialデータセットを用いて評価され、各画像をターゲットとし、対話を検索クエリとして再利用する形に再設計された。
• 検索パフォーマンスは、各対話ラウンドにおけるターゲット画像の正しく検出される確率を、平均ターゲットランク（ATR）および成功確率という指標で測定する。

実験結果

リサーチクエスチョン

• RQ1 繰り返しのチャットベースの対話が、1回のクエリによるテキストから画像への検索と比較して、画像検索パフォーマンスにどのように向上効果をもたらすか？
• RQ2 対話環境下で最良のパフォーマンスを発揮するには、画像検索器（$F$）の訓練時にどのマスキング戦略を採用すべきか？
• RQ3 異なる質問生成モデル（$G$）は検索成功にどのように影響を及ぼすか。また、LLMは人間の質問品質にどれほど近づけるか？
• RQ4 視覚言語モデルであるBLIP2が、チャットベースの検索システムの評価において人間の回答者にどれほど代替可能か？
• RQ5 現在の対話ベースの検索システムの限界は何か。特に、多様で情報豊富な次なる質問を生成できない点が顕著である。

主な発見

• ChatIRは、5ラウンドの対話後、5万枚の画像からなるデータセットでターゲット画像を78%の成功率で検索した。これは、1回のクエリによるテキストから画像への検索（64%）を上回り、人間による質問付き対話（75%）とほぼ同等の性能を達成した。
• トレーニング時に初期の画像キャプションをマスキングすることで、$F$ のパフォーマンスが最も向上し、全質問生成タイプにおいて2〜3%の精度向上が見られた。
• 人間およびChatGPTによる質問生成者は、対話ラウンドを経るごとに検索ランクが継続的に改善されたが、強化学習ベースの手法やプール型質問生成者は、初期ラウンド以降に改善が見られなかった。
• BLIP2を合成回答者として使用することで、人間の回答に類似した信頼性の高いスケーラブルな代替手段が得られ、性能トレンドが人間による対話と密接に一致した。
• 強化学習ベースの質問生成者（$RL_{17}$ および $RL_{19}$）は、特に自らの回答者と組み合わせた場合にパフォーマンスが著しく低く、時間経過に伴う検索ランクの改善が見られなかった。
• 多くのモデルが時間経過に伴い改善しないのは、新規で区別可能な質問を生成できないためであり、重複や情報のない対話が生じていた。