[논문 리뷰] Bipartite Mode Matching for Vision Training Set Search from a Hierarchical Data Server

Yue Yao, Ruining Yang외 1명|arXiv (Cornell University)|2026. 01. 14.

Advanced Image and Video Retrieval Techniques인용 수 0

한 줄 요약

논문은 Bipartite Mode Matching (BMM)을 통해 대상 데이터와 소스 데이터 서버의 모드를 정렬하고 훈련 세트를 가려내어 계층적 데이터 서버에서 학습 세트를 검색 및 가지치기하며 도메인 정합성을 개선하고 re-ID 및 탐지에서 성능을 향상시킨다.

ABSTRACT

We explore a situation in which the target domain is accessible, but real-time data annotation is not feasible. Instead, we would like to construct an alternative training set from a large-scale data server so that a competitive model can be obtained. For this problem, because the target domain usually exhibits distinct modes (i.e., semantic clusters representing data distribution), if the training set does not contain these target modes, the model performance would be compromised. While prior existing works improve algorithms iteratively, our research explores the often-overlooked potential of optimizing the structure of the data server. Inspired by the hierarchical nature of web search engines, we introduce a hierarchical data server, together with a bipartite mode matching algorithm (BMM) to align source and target modes. For each target mode, we look in the server data tree for the best mode match, which might be large or small in size. Through bipartite matching, we aim for all target modes to be optimally matched with source modes in a one-on-one fashion. Compared with existing training set search algorithms, we show that the matched server modes constitute training sets that have consistently smaller domain gaps with the target domain across object re-identification (re-ID) and detection tasks. Consequently, models trained on our searched training sets have higher accuracy than those trained otherwise. BMM allows data-centric unsupervised domain adaptation (UDA) orthogonal to existing model-centric UDA methods. By combining the BMM with existing UDA methods like pseudo-labeling, further improvement is observed.

연구 동기 및 목표

• 실시간 라벨링이 불가능한 대규모 비주석 데이터 서버에서 효과적인 학습 세트를 구성하는 도전을 해결한다.
• 더 나은 모드 매칭을 위한 다층 의미 모드를 포착하기 위해 계층적 데이터 서버를 도입한다.
• 타깃 모드를 소스 서버 모드와 일대일로 맞추기 위해 bipartite mode matching (BMM) 프레임워크를 개발한다.
• BMM으로 학습된 모델이 re-ID 및 물체 탐지 태스크 전반에서 도메인 간 격차를 줄이고 정확도를 높임을 입증한다.
• BMM과 비지도 도메인 적응 방법을 결합하면 추가 이득이 발생함을 보인다.

제안 방법

• 사전 학습된 모델로 특징을 추출하고 균형 잡힌 계층적 클러스터링을 적용하여 여러 모드(S^1,...,S^H)를 얻어 계층적 데이터 서버를 구성한다.
• 대상 데이터셋의 평면 클러스터링을 통해 타깃 모드(T^1,...,T^L)를 생성한다.
• 서버 모드 X와 타깃 모드 Y로 구성된 이병행 그래프를 생성하고 Fréchet Inception Distance (FID)를 간선 비용으로 사용한다.
• 목표 모드마다 고유한 소스 모드에 매핑하고 검색된 학습 세트 S^*를 형성하기 위해 가중치 최소 이진 매칭(Hungarian 알고리즘)을 해석한다.
• 필요 시 결과 학습 세트를 가지치고, 자가 지도 학습 방식의 비지도 도메인 적응 방법(예: 의사 레이블링)과 결합하여 추가 이득을 얻는다.
• 사전 처리와 함께 전체 BMM 시간 복잡도는 O(J^3)이고, 목표별 매칭은 O(logJ * J * L)이다.

Figure 1: Motivation illustration. Our research explores the often-overlooked potential of optimizing the structure of the data server. To explain, when aligning target modes with server modes, it is often challenging (a) due to granularity mismatches. In this paper, we propose a hierarchical server

실험 결과

연구 질문

• RQ1 계층적 데이터 서버 구조가 시각 과제의 소스와 타깃 도메인 간 모드 수준 정합을 향상시킬 수 있는가?
• RQ2 Hungarian 알고리즘과 FID 비용을 이용한 일대일 Bipartite 모드 매칭이 평면 클러스터링이나 무작위 선택에 비해 도메인 격차를 줄이고 모델 정확도를 향상시키는가?
• RQ3 BMM을 기존의 비지도 도메인 적응 방법과 결합하면 추가적인 성능 향상을 낼 수 있는가?

주요 결과

• BMM은 도메인 격차(FID)를 감소시키고 정확도를 높이며(재-ID 및 탐지 태스크에서 기준선 및 직접 매칭 대비 향상 사례).
• 계층적 서버 클러스터링은 다양한 모드 크기에 걸친 강건한 모드 매칭을 가능하게 하여 평면 클러스터링보다 성능을 상회한다.
• Hungarian 매칭을 통한 일대일 모드 할당은 데이터 다양성을 유지하면서 중복성과 도메인 격차를 줄인다.
• BMM과 의사 레이블링 UDA 방법의 공동 사용은 재-ID 및 탐지 태스크에서 추가 성능 향상을 낸다.
• BMM은 인물 재-ID, 차량 재-ID, 객체 탐지 등 여러 대상 도메인 및 태스크에서 일관되게 개선을 보인다.
• Ablation 연구는 계층적 서버 구조와 모드 매칭이 상당한 이득을 달성하는 데 필요하다는 것을 시사한다.

Figure 2: Workflow of BMM. (Top left): For a given target, we extract modes using flat clustering (Lloyd 1982 ; MacQueen and others 1967 ) . (Bottom left): For our data server, we extract modes using hierarchical clustering (Müllner 2011 ) . For modes existing in both target and the data server, we