[논문 리뷰] When Unsupervised Domain Adaptation Meets Tensor Representations

Hao Lü, Lei Zhang외 5명|arXiv (Cornell University)|2017. 07. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 25

한 줄 요약

이 논문은 벡터화 없이 소스 도메인과 타겟 도메인의 텐서 표현을 직접 적응시키는 새로운 비지도 도메 적응 방법인 텐서-정렬된 불변 부분공간 학습(TAISL)을 제안한다. TAISL은 텐서를 공유 불변 텐서 부분공간으로 투영하기 위해 정렬 행렬을 학습함으로써 다중선형 구조를 유지하고 차원을 감소시키며, 특히 딥 컨volution 레이어 활성화에 대해 최신 기법들을 능가하는 성능을 보이며, 레이블 노이즈와 소규모 샘플에 대한 강건성도 향상시킨다.

ABSTRACT

Domain adaption (DA) allows machine learning methods trained on data sampled from one distribution to be applied to data sampled from another. It is thus of great practical importance to the application of such methods. Despite the fact that tensor representations are widely used in Computer Vision to capture multi-linear relationships that affect the data, most existing DA methods are applicable to vectors only. This renders them incapable of reflecting and preserving important structure in many problems. We thus propose here a learning-based method to adapt the source and target tensor representations directly, without vectorization. In particular, a set of alignment matrices is introduced to align the tensor representations from both domains into the invariant tensor subspace. These alignment matrices and the tensor subspace are modeled as a joint optimization problem and can be learned adaptively from the data using the proposed alternative minimization scheme. Extensive experiments show that our approach is capable of preserving the discriminative power of the source domain, of resisting the effects of label noise, and works effectively for small sample sizes, and even one-shot DA. We show that our method outperforms the state-of-the-art on the task of cross-domain visual recognition in both efficacy and efficiency, and particularly that it outperforms all comparators when applied to DA of the convolutional activations of deep convolutional networks.

연구 동기 및 목표

• 라벨이 없는 타겟 데이터에 의존하지 않고 소스 도메인 데이터를 타겟 도메인 분포로 적응시켜 도메인 분포의 이탈 문제를 해결한다.
• 벡터화 과정에서 구조 정보를 상실하고 차원의 비탄성 문제를 겪는 기존의 벡터 기반 도메인 적응 방법의 한계를 극복한다.
• 딥 네트워크의 컨volution 레이어 활성화와 같은 고차원 텐서 표현에서의 본질적인 다중선형 관계를 도메인 적응 과정에서 유지한다.
• 정렬 행렬과 불변 텐서 부분공간을 동시에 학습하는 공동 최적화 프레임워크를 개발하여 효과적이고 효율적인 적응을 실현한다.
• 특히 소규모 샘플 및 원샷 적응 설정에서 최신 기법들에 비해 뛰어난 성능을 보이며, 효율성과 효과성 측면에서 모두 슈퍼리어한 성능을 입증한다.

제안 방법

• 이 방법은 소스 및 타겟 텐서 표현을 직접 모델링하여 벡터화를 피하는 텐서-정렬된 불변 부분공간 학습(TAISL) 프레임워크를 도입한다.
• 정렬 행렬의 집합을 학습하여 소스 텐서를 타겟 도메인과 정렬된 공유 불변 텐서 부분공간으로 투영한다.
• 정렬 행렬과 불변 텐서 부분공간을 도메인 간 이질성 최소화를 위해 교대 최소화 방식으로 공동 최적화한다.
• 텐서 모드(예: 공간, 채널, 배치)에 대해 모드별 부분적 적응을 수행함으로써 차원을 감소시키고 차원의 비탄성 문제를 피한다.
• 최적화 문제를 설정하여 분류에 유용한 특징을 유지하면서도 도메인 간 분포 이질성을 최소화한다.
• 이 방법은 제3차 텐서(예: CNN의 특징 맵)에 적용되며, 다중 모드 간의 상관관계를 동시에 모델링한다.

실험 결과

연구 질문

• RQ1 벡터화된 접근 방식에 비해 텐서 표현의 직접적 적응이 도메인 적응 성능 향상에 기여하는가?
• RQ2 텐서 내 다중선형 구조를 유지할 경우 레이블 노이즈와 소규모 샘플에 대한 강건성이 향상되는가?
• RQ3 전체적인 벡터 기반 적응에 비해 텐서 부분공간에서의 모드별 적응이 계산 복잡도와 추정 오차를 줄이는가?
• RQ4 자연스럽게 텐서 형태를 띠는 딥 컨volution 레이어 특징에 대해 제안된 방법은 어떤 성능을 보이는가?
• RQ5 정렬 행렬과 불변 부분공간의 공동 최적화가 다양한 하이퍼파rameter 설정에서도 효과적이고 안정적인가?

주요 결과

• Office-Caltech10 데이터셋에서 TAISL는 W→C 작업에서 tCONV 특징을 사용해 76.4%의 정확도를 기록하여, 다음으로 좋은 성능을 보인 NTSL(71.6%)을 능가했다.
• ImageNet-VOC2007 데이터셋에서는 tCONV 특징을 사용해 60.4%의 mAP를 달성하여, 두 번째로 좋은 성능을 보인 NTSL보다 5.2% 높였다.
• 메모리 노이즈와 소규모 샘플에 대해 뛰어난 강건성을 보이며, 10회 시험에서 안정적인 성능과 낮은 표준편차(예: ImageNet-VOC2007의 mAP 기준 3.5)를 기록했다.
• 감도 분석 결과, 분류 정확도는 가중치 계수 λ의 변화에 거의 민감하지 않으며, λ 값이 1e-9에서 1e1 범위에서 최소한의 변동만을 보였다.
• 공간 모드 차원 수(ds)를 증가시킬수록 정확도가 향상되어, 공간 구조를 유지할 경우 적응 성능 향상이 가능하다는 것을 시사했다.
• 특징 모드 차원 수(df)는 포화 효과를 보였다: df=16까지 정확도가 크게 향상되지만, 그 이상에서는 정체되며 표현력과 복잡도 사이의 최적 균형을 나타냈다.