[논문 리뷰] Cross-domain attribute representation based on convolutional neural network

Guohui Zhang, Gaoyuan Liang외 3명|arXiv (Cornell University)|2018. 05. 17.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 5

한 줄 요약

이 논문은 여러 도메인 간 공유된 합성곱 신경망(CNN)을 사용하여 도메인 간에 동시에 인스턴스 및 속성 특징을 공동으로 모델링하는 교차 도메인 속성 표현 프레임워크를 제안한다. 도메인에 독립적이고 도메인에 특화된 CNN 표현을 학습하고 이를 속성과 융합함으로써, 벤치마크 데이터셋에서 제로샷 및 패트샷 분류 성능을 향상시켜 자원이 부족한 타겟 도메인에서 뛰어난 일반화 능력을 입증한다.

ABSTRACT

In the problem of domain transfer learning, we learn a model for the predic-tion in a target domain from the data of both some source domains and the target domain, where the target domain is in lack of labels while the source domain has sufficient labels. Besides the instances of the data, recently the attributes of data shared across domains are also explored and proven to be very helpful to leverage the information of different domains. In this paper, we propose a novel learning framework for domain-transfer learning based on both instances and attributes. We proposed to embed the attributes of dif-ferent domains by a shared convolutional neural network (CNN), learn a domain-independent CNN model to represent the information shared by dif-ferent domains by matching across domains, and a domain-specific CNN model to represent the information of each domain. The concatenation of the three CNN model outputs is used to predict the class label. An iterative algo-rithm based on gradient descent method is developed to learn the parameters of the model. The experiments over benchmark datasets show the advantage of the proposed model.

연구 동기 및 목표

• 레이블이 없는 타겟 도메인이 존재하는 전이 학습에서의 도메인 이동 문제를 해결하기 위해.
• 도메인 간 공유되는 속성을 활용하여 모델의 일반화 능력을 향상시키기 위해.
• 교차 도메인 환경에서 인스턴스와 속성을 동시에 모델링하는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 도메인 특화된 편향을 줄이면서 도메인에 영향을 받지 않는 표현과 도메인에 특화된 표현을 유지하기 위해.
• 속성 감독을 활용하여 자원이 부족한 타겟 도메인에서 더 나은 분류 성능를 달성하기 위해.

제안 방법

• 다양한 도메인의 속성을 동일한 특징 공간에 통합하기 위해 공유된 CNN을 훈련한다.
• 공유된 특징과 각 도메인 고유의 특징을 모델링하기 위해 도메인에 독립적이고 도메인에 특화된 CNN 브랜치를 학습한다.
• 공유된, 도메인에 독립적인, 도메인에 특화된 CNN의 출력을 연결하여 최종 분류를 수행한다.
• 모든 세 개의 CNN 구성 요소의 파라미터를 동시에 최적화하기 위해 반복적 기울기 하강 알고리즘을 사용한다.
• 레이블이 있는 소스 도메인 데이터와 레이블이 없는 타겟 도메인 데이터를 사용하여 끝에서 끝까지 훈련하고, 속성 감독을 적용한다.
• 대응 학습 또는 특징 매칭을 통해 도메인 간 속성 임베딩을 정렬함으로써 교차 도메인 전이 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 인스턴스와 속성 특징을 공동으로 모델링하면 전이 학습에서 교차 도메인 일반화가 향상되는가?
• RQ2 도메인 간 공유되는 속성을 통합하면 자원이 부족한 타겟 도메인에서 성능에 어떤 영향을 미치는가?
• RQ3 도메인에 독립적인 표현과 도메인에 특화된 표현은 교차 도메인 속성 학습에서 각각 어떤 기여를 하는가?
• RQ4 통합된 CNN 프레임워크는 공유된 특징과 도메인 특화된 특징 학습을 효과적으로 균형 잡을 수 있는가?
• RQ5 제안된 방법은 기존의 제로샷 및 패트샷 학습 베이스라인과 비교해 어떻게 성능을 냅니다?

주요 결과

• 제안된 모델은 벤치마크 교차 도메인 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법보다 제로샷 및 패트샷 분류에서 뛰어난 성능을 보였다.
• 공유된 속성 표현 통합이 타겟 도메인의 레이블이 없는 데이터로의 일반화 능력을 크게 향상시켰다.
• 도메인에 독립적인 CNN 구성 요소는 다양한 도메인 간에 일반화 가능한 강력한 특징을 학습하였다.
• 도메인에 특화된 CNN 브랜치는 각 도메인의 고유한 특징을 효과적으로 포착하여 국소 정확도를 향상시켰다.
• 기울기 하강 기반의 반복적 훈련 절차는 안정적으로 수렴하였고, 도메인 간 특징 정렬을 향상시켰다.
• 큰 도메인 이동이 존재하는 데이터셋에서도 모델은 뛰어난 강건성과 전이 가능성을 보였다.