[논문 리뷰] Cross-Domain Self-supervised Multi-task Feature Learning using Synthetic Imagery

Zhongzheng Ren, Yong Jae Lee|arXiv (Cornell University)|2017. 11. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 74인용 수 4

한 줄 요약

이 논문은 합성 RGB 이미지에서 깊이, 표면 법선, 인스턴스 윤곽을 동시에 예측함으로써 일반화 가능한 시각적 표현을 학습하는 교차 도메인 자기지도 다중 작업 네트워크를 제안한다. 동시에 적대적 특성 공간 도메인 적응 기법을 사용하여 실사 이미지와의 도메인 갭을 해소한다. 이 방법은 PASCAL VOC 2007 분류 및 검출 작업에서 최신 기술 수준의 전이 학습 성능를 달성하며, 단일 작업 기반 베이스라인 및 경쟁 방법을 능가한다.

ABSTRACT

In human learning, it is common to use multiple sources of information jointly. However, most existing feature learning approaches learn from only a single task. In this paper, we propose a novel multi-task deep network to learn generalizable high-level visual representations. Since multi-task learning requires annotations for multiple properties of the same training instance, we look to synthetic images to train our network. To overcome the domain difference between real and synthetic data, we employ an unsupervised feature space domain adaptation method based on adversarial learning. Given an input synthetic RGB image, our network simultaneously predicts its surface normal, depth, and instance contour, while also minimizing the feature space domain differences between real and synthetic data. Through extensive experiments, we demonstrate that our network learns more transferable representations compared to single-task baselines. Our learned representation produces state-of-the-art transfer learning results on PASCAL VOC 2007 classification and 2012 detection.

연구 동기 및 목표

• 시각적 표현 학습을 위한 대규모 레이블이 부여된 데이터셋(예: ImageNet)의 높은 비용과 확장성 한계를 해결하기 위해.
• 합성 이미지와 실사 이미지 간의 도메인 차이로 인해 합성 데이터에서 일반적인 목적의 시각적 특징을 학습하는 데 도전하는 문제를 해결하기 위해.
• 합성 데이터에서 깊이, 표면 법선, 인스턴스 윤곽 등의 다중 자기지도 작업을 활용하여 특징의 전이 가능성 향상하기 위해.
• 수동 레이블링에 의존하는 것을 줄이기 위해 합성 이미지에서 얻은 무료 물리적 성질 지ap을 감독 신호로 사용하기 위해.
• 적대적 훈련을 활용한 비지도 특성 공간 도메인 적응을 통해 도메인 불변 표현을 개발하기 위해.

제안 방법

• 합성 RGB 이미지에서 다중 작업 딥 네트워크를 훈련하여 깊이, 표면 법선, 인스턴스 윤곽 지ap을 자기지도 감독 신호로 예측한다.
• 모든 예측 작업에 대해 공통의 인코더 백본(예: VGG 스타일)을 사용하고, 각 작업에 맞는 전용 헤드를 적용한다.
• 적대적 도메인 적응 모듈을 도입하여, 도메인 구분자(Domain Discriminator)가 실사 이미지 특징와 합성 이미지 특징를 구분하도록 훈련한다.
• 생성자(특징 인코더)는 도메인 구분자가 실사 특징를 합성 특징로, 합성 특징를 실사 특징로 잘못 판단하도록 최적화되며, 이로써 특성 공간 내 도메인 불일치를 최소화한다.
• 전체 훈련 목표는 다중 작업 예측 손실(예: 깊이에 대한 L1, 법선에 대한 코사인)과 도메인 정렬을 위한 적대적 손실을 조합한다.
• 모델은 SUNCG 데이터셋에서 0.5M에서 1.5M개의 합성 이미지로 사전 훈련되고, PASCAL VOC 및 NYUD와 같은 실세계 벤치마크에서 미세 조정된다.

실험 결과

연구 질문

• RQ1 합성 데이터에서 다중 작업 자기지도 학습이 단일 작업 기반 베이스라인보다 더 전이 가능한 시각적 표현을 생성할 수 있는가?
• RQ2 적대적 특성 공간 도메인 적응이 합성 이미지와 실사 이미지 간의 도메인 갭을 효과적으로 줄일 수 있는가?
• RQ3 합성 데이터의 크기를 증가시키면 학습된 특징의 전이 가능성에 어떤 영향을 미치는가?
• RQ4 중위 특징(깊이, 법선, 윤곽)을 동시에 예측하는 것이 고수준 의미적 특징 학습을 암묵적으로 장려하는가?
• RQ5 제안된 방법은 최신 기술 수준의 자기지도 및 지도 학습 사전 훈련 방법과 비교해 실세계 작업에서 어떻게 성능를 발휘하는가?

주요 결과

• 제안된 다중 작업 모델은 ImageNet 분류에서 68.0%의 top-1 정확도와 PASCAL VOC 2012 검출에서 52.6%의 평균 정밀도를 달성하여 단일 작업 기반 베이스라인을 능가한다.
• NYUD 표면 법선 추정에서 66.7%의 픽셀이 각도 오차 <11.25° 이내에 들어가며, [71]의 자기지도 방법을 초월하고 합성 데이터로 사전 훈련된 지도 학습 방법과 동등한 성능를 기록한다.
• 합성 데이터셋 크기를 0.5M에서 1.5M로 증가시키면 분류 및 검출 정확도가 각각 0.5–0.6%p 향상되어 데이터 확장성의 이점을 입증한다.
• 실사 특징를 합성 특징으로, 합성 특징를 실사 특징으로 모두 속이는 양방향 적대적 훈련을 수행할 경우, 한 방향으로만 속이는 것보다 성능이 약간 떨어지며, 이는 최적화 동역학이 비최적임을 시사한다.
• 제거 실험 결과 다중 작업 학습, 도메인 적응, 데이터 크기 모두 전이 가능한 특징 학습에 기여하는 것으로 확인된다.
• 모델는 강력한 제로샷 전이 성능를 보이며, 자기지도 작업이 고수준 의미적 표현 학습을 효과적으로 장려하고 있음을 시사한다.