[論文レビュー] Bipartite Mode Matching for Vision Training Set Search from a Hierarchical Data Server

Yue Yao, Ruining Yang+1 more|arXiv (Cornell University)|Jan 14, 2026

Advanced Image and Video Retrieval Techniques被引用数 0

ひとこと要約

この論文は、ターゲットとソースのモードを二部グラフマッチングで対比させることにより、階層データサーバーからの訓練セットを探索・剪断し、再識別（re-ID）と検出のドメイン適合を改善する Bipartite Mode Matching（BMM）を提案します。

ABSTRACT

We explore a situation in which the target domain is accessible, but real-time data annotation is not feasible. Instead, we would like to construct an alternative training set from a large-scale data server so that a competitive model can be obtained. For this problem, because the target domain usually exhibits distinct modes (i.e., semantic clusters representing data distribution), if the training set does not contain these target modes, the model performance would be compromised. While prior existing works improve algorithms iteratively, our research explores the often-overlooked potential of optimizing the structure of the data server. Inspired by the hierarchical nature of web search engines, we introduce a hierarchical data server, together with a bipartite mode matching algorithm (BMM) to align source and target modes. For each target mode, we look in the server data tree for the best mode match, which might be large or small in size. Through bipartite matching, we aim for all target modes to be optimally matched with source modes in a one-on-one fashion. Compared with existing training set search algorithms, we show that the matched server modes constitute training sets that have consistently smaller domain gaps with the target domain across object re-identification (re-ID) and detection tasks. Consequently, models trained on our searched training sets have higher accuracy than those trained otherwise. BMM allows data-centric unsupervised domain adaptation (UDA) orthogonal to existing model-centric UDA methods. By combining the BMM with existing UDA methods like pseudo-labeling, further improvement is observed.

研究の動機と目的

• 大規模で注釈のないデータサーバーからリアルタイムラベリングが不可能な場合の効果的な訓練セット構築という課題に対処する。
• モードマッチングを向上させるために、マルチレベルの意味モードを捉える階層データサーバーを導入する。
• ターゲットモードをソースサーバーモードと一対一で整合させるビ bipartite mode matching（BMM）フレームワークを開発する。
• BMMで訓練されたモデルがドメインギャップを小さくし、再識別と物体検出タスクで高精度を達成することを示す。
• BMMと教師なしドメイン適応（UDA）手法を組み合わせるとさらなる利得が得られることを示す。

提案手法

• 事前学習モデルで特徴を抽出し、平衡階層クラスタリングを適用して複数のモード（S^1,...,S^H）を得ることで階層データサーバーを構築する。
• ターゲットデータセットを平坦クラスタリングしてターゲットモードを作成（T^1,...,T^L）。
• サーバーモードXとターゲットモードYを用いた二部グラフを構築し、Frechet Inception Distance（FID）をエッジコストとして用いる。
• 各ターゲットモードを一意のソースモードに割り当て、探索訓練セットS^*を形成する最小重み二部グラフマッチング（Hungarianアルゴリズム）を解く。
• 得られた訓練セットをオプションで剪定し、疑似ラベリングなどの教師なしドメイン適応法と組み合わせてさらに利得を得る。
• 時間計算量の注: 全体のBMM時間は前処理を含めてO(J^3)、個々のターゲットマッチングはO(logJ * J * L)。

Figure 1: Motivation illustration. Our research explores the often-overlooked potential of optimizing the structure of the data server. To explain, when aligning target modes with server modes, it is often challenging (a) due to granularity mismatches. In this paper, we propose a hierarchical server

実験結果

リサーチクエスチョン

• RQ1 階層データサーバー構造は視覚タスクにおけるソースとターゲットドメイン間のモードレベル整合性を改善できるか。
• RQ2 HungarianアルゴリズムとFIDコストを用いた一対一の二部モードマッチングは、平坦クラスタリングやランダム選択と比較してドメインギャップを減少させ、モデル精度を向上させるか。
• RQ3 BMMを既存の教師なしドメイン適応法と組み合わせると追加の性能向上が得られるか。

主な発見

• BMMはドメインギャップ（FID）を低減し、精度を向上させる（再識別・検出タスクのベースラインと直接マッチに対して改善例あり）。
• 階層サーバークラスタリングは、さまざまなモードサイズで堅牢なモードマッチングを可能にするため、平坦クラスタリングより優れている。
• Hungarianマッチングによる一対一のモード割り当てはデータの多様性を維持しつつ冗長性とドメインギャップを削減する。
• BMMを疑似ラベリングUDA法と併用すると、再識別と検出タスクのさらなる性能向上をもたらす。
• BMMは複数のターゲットドメインとタスク（人物再ID、車両再ID、物体検出）で一貫した改善を示す。
• アブレーション研究は、階層サーバー構造とモードマッチングの双方が有意な利得を得るために必要であることを示す。

Figure 2: Workflow of BMM. (Top left): For a given target, we extract modes using flat clustering (Lloyd 1982 ; MacQueen and others 1967 ) . (Bottom left): For our data server, we extract modes using hierarchical clustering (Müllner 2011 ) . For modes existing in both target and the data server, we