[논문 리뷰] Feature Space Transfer for Data Augmentation

Bo Liu, Wang, Xudong외 3명|arXiv (Cornell University)|2018. 01. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 4

한 줄 요약

이 논문은 FATTEN을 제안하며, 이는 자세와 외관 공간에서 연속적이고 부드러운 특징 궤적을 학습하는 딥 인코더-디코더 네트워크입니다. 다중 작업 손실을 통해 엔드 투 엔드로 훈련함으로써 FATTEN은 객체 자세 간 특징을 전이하여, 최신 기법들보다 SUN-RGBD에서 소수의 샘플로도 객체 인식 성능을 최대 5.8个百分点 향상시킵니다.

ABSTRACT

The problem of data augmentation in feature space is considered. A new architecture, denoted the FeATure TransfEr Network (FATTEN), is proposed for the modeling of feature trajectories induced by variations of object pose. This architecture exploits a parametrization of the pose manifold in terms of pose and appearance. This leads to a deep encoder/decoder network architecture, where the encoder factors into an appearance and a pose predictor. Unlike previous attempts at trajectory transfer, FATTEN can be efficiently trained end-to-end, with no need to train separate feature transfer functions. This is realized by supplying the decoder with information about a target pose and the use of a multi-task loss that penalizes category- and pose-mismatches. In result, FATTEN discourages discontinuous or non-smooth trajectories that fail to capture the structure of the pose manifold, and generalizes well on object recognition tasks involving large pose variation. Experimental results on the artificial ModelNet database show that it can successfully learn to map source features to target features of a desired pose, while preserving class identity. Most notably, by using feature space transfer for data augmentation (w.r.t. pose and depth) on SUN-RGBD objects, we demonstrate considerable performance improvements on one/few-shot object recognition in a transfer learning setup, compared to current state-of-the-art methods.

연구 동기 및 목표

• 희귀한 실제 데이터 샘플링으로 인해 큰 자세 변화에서 컨volutional 네트워크(CNNs)의 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 이전의 데이터 증강 방법들이 자세 다양성의 연속성과 부드러움을 모델링하지 못하는 한계를 극복하기 위해.
• 별도의 궤적 함수 없이도 자세 변화 간 특징을 전이할 수 있는 통합된 엔드 투 엔드 학습 가능한 아키텍처를 개발하기 위해.
• 합성적으로 생성된 자세 변형 특징으로 특징 공간을 풍부하게 하여 소수의 샘플로도 객체 인식 성능을 향상시키기 위해.
• 매개변수화된 자세 및 외관 다양성 다양체를 사용하여 스케일이 가능하고 구조 인식 기반의 데이터 증강을 실현하기 위해.

제안 방법

• FATTEN은 인코더-디코더 아키텍처를 사용하며, 인코더가 별도의 외관 및 자세 예측기로 분리됩니다.
• 디코더는 예측된 자세 및 외관 임베딩을 사용하여 타겟 특징을 생성함으로써 연속적인 궤적 매핑을 가능하게 합니다.
• 다중 작업 손실은 카테고리 불일치와 자세 불일치를 모두 페널티 처리하여 부드럽고 연속적인 특징 궤적을 강제로 만듭니다.
• 대부분의 특징 전이 함수를 별도로 학습하지 않고도 엔드 투 엔드로 훈련함으로써 표현과 전이의 공동 최적화를 보장합니다.
• 자세와 깊이 정보를 명시적으로 입력으로 사용하여 현실적이면서도 클래스를 유지하는 특징 변형을 유도합니다.
• 학습 복잡도를 줄이기 위해 자세 다양성 다각형을 박스로 분할하면서도 구조적 연속성을 유지합니다.

실험 결과

연구 질문

• RQ1 딥 신경망이 단일 엔드 투 엔드 아키텍처에서 객체 자세 변화 간에 연속적이고 부드러운 특징 궤적을 학습할 수 있는가?
• RQ2 외관과 자세 매개변수화를 통해 자세 다양성 다각형을 모델링하면 소수의 샘플로도 객체 인식을 위한 데이터 증강에 기여하는가?
• RQ3 대부분의 자세 변화에서 일반화 성능를 고려할 때, FATTEN은 속성 유도 증강(AGA) 및 특징 환영 기법과 비교해 어떤가?
• RQ4 FATTEN을 통한 특징 공간 전이가 한 개 또는 소수의 샘플로도 객체 인식 정확도를 얼마나 향상시키는가?
• RQ5 FATTEN은 새로운 데이터에 대해 재학습 없이도 새로운 객체 클래스로 일반화 가능한가?

주요 결과

• FATTEN은 한 개 샘플 설정($\tfrac{1}{10}$)에서 44.99%의 top-1 정확도를 달성하여 기준 모델(SVM)보다 11.25个百分点 높게 성과를 냈습니다.
• 동일한 설정에서 FATTEN은 AGA보다 5.87个百分点 높고, 환영 기반 기법보다 9.56个百分点 높은 성능을 기록했습니다.
• 다섯 개 샘플 설정에서 FATTEN은 $\tfrac{1}{10}$에서 58.82%의 정확도를 기록했으며, AGA보다 1.9% 높고 환영 기법보다 8.51% 높았습니다.
• FATTEN은 $\tfrac{1}{10}$, $\tfrac{1}{10}$, $\tfrac{1}{20}$의 세 가지 평가 세트 전반에서 AGA 및 환영 기법을 일관되게 능가하여 클래스 불균형과 샘플 수 감소 상황에서도 안정성을 입증했습니다.
• AGA보다 성능 향상은 FATTEN의 엔드 투 엔드 훈련과 연속적인 궤적 모델링 덕분이며, 별도의 전이 함수로 인한 불연속성을 피할 수 있었습니다.
• 명시적인 자세 및 깊이 감독을 통해 FATTEN은 비모수적 환영 기법보다 더 정보가 풍부하고 클래스를 유지하는 데이터 증강을 실현했습니다.