[論文レビュー] Data Augmentation for Text-based Person Retrieval Using Large Language Models

Zheng Li, Lijia Si+3 more|arXiv (Cornell University)|May 20, 2024

Data Quality and Management被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）を用いて訓練テキストを再書き換えすることで、意味を保ちつつ多様性を高める、テキストベースの人物検索向けのプラグアンドプレイ型データ拡張手法であるLLM-DAを提案する。意味的整合性を保つために、 hallucination を除去するテキスト忠実度フィルタ（TFF）を導入し、訓練データの混合割合を最適化するバランスサンプリング戦略（BSS）を採用することで、複数のベンチマークで顕著な検索性能向上を達成した。

ABSTRACT

Text-based Person Retrieval (TPR) aims to retrieve person images that match the description given a text query. The performance improvement of the TPR model relies on high-quality data for supervised training. However, it is difficult to construct a large-scale, high-quality TPR dataset due to expensive annotation and privacy protection. Recently, Large Language Models (LLMs) have approached or even surpassed human performance on many NLP tasks, creating the possibility to expand high-quality TPR datasets. This paper proposes an LLM-based Data Augmentation (LLM-DA) method for TPR. LLM-DA uses LLMs to rewrite the text in the current TPR dataset, achieving high-quality expansion of the dataset concisely and efficiently. These rewritten texts are able to increase the diversity of vocabulary and sentence structure while retaining the original key concepts and semantic information. In order to alleviate the hallucinations of LLMs, LLM-DA introduces a Text Faithfulness Filter (TFF) to filter out unfaithful rewritten text. To balance the contributions of original text and augmented text, a Balanced Sampling Strategy (BSS) is proposed to control the proportion of original text and augmented text used for training. LLM-DA is a plug-and-play method that can be easily integrated into various TPR models. Comprehensive experiments on three TPR benchmarks show that LLM-DA can improve the retrieval performance of current TPR models.

研究の動機と目的

• プライバシー制約や高コストなアノテーションのため、大規模かつ高品質なテキストベースの人物検索（TPR）データセットが不足している問題に対処する。
• 従来のテキスト拡張手法には、意味を歪めたり多様性を減らしたりする場合があり、性能を低下させるという限界を克服する。
• 大規模言語モデル（LLM）の意味的生成能力を活用し、多様で忠実かつ高品質なテキスト拡張をTPRに適用する。
• LLMの hallucination を回避するため、専用のテキスト忠実度フィルタ（TFF）を導入し、拡張されたテキストが元の記述と意味的に整合していることを保証する。
• 訓練中にオリジナルデータと拡張データの寄与度をバランスさせるバランスサンプリング戦略（BSS）を採用し、モデルの汎化性能と性能を向上させる。

提案手法

• 事前学習済みのLLM（例：Vicuna）を用い、TPRデータセット内の元のテキスト記述を再書き換えし、意味的に同等だが構造的に多様なバリエーションを生成する。
• テキスト忠実度フィルタ（TFF）を適用し、文のエンコーダーを用いて元のテキストと再書き換え済みテキストの意味的類似度を計算；類似度が閾値αを超えるもののみを保持する。
• 訓練中にオリジナルデータと拡張データの割合を制御するバランスサンプリング戦略（BSS）を導入；サンプリング閾値βを用いて制御する。
• アーキテクチャや損失関数を変更せずに、既存のTPRモデルにLLM-DAをプラグアンドプレイモジュールとして統合する。
• 評価にはCLIP（ViT-B/16）をバックボーンモデルとして用い、オリジナルデータとフィルタリング済み／拡張済みデータを混合して訓練する。
• ICFG-PEDESでのアブレーションにより、ハイパーパrameter α（TFF閾値）とβ（BSSサンプリング比）を最適化し、ノイズ低減とデータ多様性の両立を図る。

実験結果

リサーチクエスチョン

• RQ1 従来の拡張手法と比較して、LLMベースのテキスト再書き換えは、テキストベースの人物検索における検索性能を顕著に向上させるか？
• RQ2 テキスト忠実度フィルタ（TFF）は、TPRのデータ拡張におけるLLMの hallucination の悪影響をどの程度軽減できるか？
• RQ3 オリジナルデータと拡張データの比率をバランスさせることで、TPRにおけるモデルの汎化性能と性能にどのような影響を与えるか？
• RQ4 複数のベンチマークで検索精度を最大化する最適なハイパーパrameter設定（αとβ）は何か？
• RQ5 LLM-DAは、アーキテクチャの変更なしに、さまざまなTPRモデルに効果的かつ普遍的にプラグアンドプレイとして適用可能か？

主な発見

• LLM-DAは3つのベンチマークで顕著な性能向上を達成した：ICFG-PEDESではRank-1精度が最大4.2%向上、CUHK-PEDESでは3.8%向上した。
• テキスト忠実度フィルタ（TFF）は、意味的に整合性のない拡張テキストをフィルタリングすることでノイズデータを低減し、α = 0.6の設定でICFG-PEDESで2.1%の性能向上を達成した。
• バランスサンプリング戦略（BSS）は汎化性能を向上させ、β = 0.2が最適であり、拡張データが訓練信号を圧倒することなく意味的に寄与していることがわかった。
• ハイパーパrameter分析から、α > 0.8では多様性が不足し性能が低下する一方、β > 0.3ではノイズと分布シフトの影響で性能が劣化した。
• 定性的な結果から、LLM-DAはバックトランスレーションやランダム削除といった従来手法に比べ、より自然で意味的に豊かで構造的に多様なテキストを生成していることが確認された。
• TFF、BSS、LLMによる再書き換えを組み合わせることで最良の性能が得られ、3つのコンponentが相乗的に効果を発揮していることが示された。