[논문 리뷰] Cross-Domain Visual Recognition via Domain Adaptive Dictionary Learning

Hongyu Xu, Jingjing Zheng외 2명|arXiv (Cornell University)|2018. 04. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 10

한 줄 요약

이 논문은 중간 도메인 경로를 통해 공유 및 도메인별 사전을 학습하여 교차 도메인 시각 인식에서 도메인 간 격차를 해소하는 도메인 적응형 사전 학습 프레임워크를 제안한다. 흩어진 코딩과 사전 갱신을 번갈아 수행함으로써, 세 가지 벤치마크 데이터셋에서 최첨단 기법들을 능가하는 성능을 달성하며, 분포 이탈 상황에서의 물체 및 얼굴 인식 작업에서 뛰어난 성능을 보인다.

ABSTRACT

In real-world visual recognition problems, the assumption that the training data (source domain) and test data (target domain) are sampled from the same distribution is often violated. This is known as the domain adaptation problem. In this work, we propose a novel domain-adaptive dictionary learning framework for cross-domain visual recognition. Our method generates a set of intermediate domains. These intermediate domains form a smooth path and bridge the gap between the source and target domains. Specifically, we not only learn a common dictionary to encode the domain-shared features, but also learn a set of domain-specific dictionaries to model the domain shift. The separation of the common and domain-specific dictionaries enables us to learn more compact and reconstructive dictionaries for domain adaptation. These dictionaries are learned by alternating between domain-adaptive sparse coding and dictionary updating steps. Meanwhile, our approach gradually recovers the feature representations of both source and target data along the domain path. By aligning all the recovered domain data, we derive the final domain-adaptive features for cross-domain visual recognition. Extensive experiments on three public datasets demonstrates that our approach outperforms most state-of-the-art methods.

연구 동기 및 목표

• 학습(소스) 데이터와 테스트(타겟) 데이터가 서로 다른 분포에서 유래하는 도메인 이탈 문제를 해결한다.
• 스케일링이 나쁘고 전반적인 비선형성을 포착하지 못하는 커널 기반 방법(예: MMD)의 한계를 극복한다.
• 구조적 사전 학습을 통해 도메인 공통 및 도메인 특화 특징을 모델링하여 특징 표현을 향상시킨다.
• 소스에서 타겟으로 이르는 연속적인 경로를 형성하는 중간 도메인을 생성하여 도메인 간 부드러운 적응을 가능하게 한다.
• 라벨이 부여된 타겟 데이터가 필요 없이 비지도 도메인 적응에 초점을 맞춰 강건한 교차 도메인 인식을 달성한다.

제안 방법

• 공통 특징을 위한 공통 사전와 도메인 이탈 모델링을 위한 도메인 특화 사전을 학습하는 새로운 프레임워크를 도입한다.
• 소스 도메인과 타겟 도메인 사이에 부드러운 경로를 형성하는 일련의 중간 도메인을 구성하여 특징 분포를 점진적으로 정렬한다.
• 도메인 적응형 흩어진 코딩과 사전 갱신 단계를 번갈아 수행하여 특징 재구성과 도메인 정렬을 동시에 최적화한다.
• 도메인 경로의 영향을 제어하기 위해 파라미터 η를 포함한 정규화 항을 사용하여 특징 표현의 안정적이고 부드러운 복원을 보장한다.
• 소스, 중간, 타겟 도메인을 포함한 모든 도메인 간 특징을 도메인 전이 행렬의 저랭크 근사에 의해 복원하고 정렬한다.
• 도메인 전이 행렬의 특이값 분해(SVD)를 활용하여 사전 갱신을 위한 닫힌 형태의 해를 유도함으로써 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 구조적 사전 학습 접근법이 교차 도메인 시각 인식을 향상시키기 위해 공통 및 도메인 특화 특징을 효과적으로 모델링할 수 있는가?
• RQ2 소스 도메인과 타겟 도메인 사이의 경로에 중간 도메인을 도입할 경우, 직접적인 도메인 적응보다 더 나은 특징 정렬과 성능을 달성할 수 있는가?
• RQ3 공통 사전와 도메인 특화 사전를 분리하는 방식이 도메인 이탈을 다루는 데 있어 공동 또는 공유 사전 학습과 비교해 어떻게 성능을 높이는가?
• RQ4 제안된 방법이 라벨이 부여된 타겟 데이터가 없이도 분포 격차를 어느 정도 줄일 수 있는가?
• RQ5 실제 시각 인식 작업에서 기존의 MMD 기반 및 부분공간 기반 도메인 적응 기법보다 제안된 방법이 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 물체 및 얼굴 인식 작업을 포함한 세 가지 공개 벤치마크 데이터셋에서 교차 도메인 시각 인식 분야에서 최첨단 성능을 달성한다.
• 광범위한 실험을 통해 공통 사전와 도메인 특화 사전의 분리가 더 컴act하고 재구성 가능한 표현을 만들어내어 일반화 능력을 향상시킴을 확인했다.
• 중간 도메인 경로를 통해 특징의 점진적 복원과 정렬이 가능해 직접적인 도메인 이탈 모델링보다 더 나은 적응 성능을 달성한다.
• 커널 방법의 제곱형 스케일링과 局소 일반화 한계를 피하기 때문에 기존의 MMD 기반 접근법보다 우수한 성능을 보였다.
• 제거 실험 결과, 공통 사전와 도메인 특화 사전 모두 성능 향상에 기여함을 확인하여 双사전 학습 설계의 타당성을 입증했다.
• SVD를 통한 닫힌 형태의 해로 계산 효율성과 수치적 안정성이 보장된다.