[논문 리뷰] Object landmark discovery through unsupervised adaptation

Enrique Sánchez, Georgios Tzimiropoulos|arXiv (Cornell University)|2019. 10. 21.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 레이블이 없는 새로운 객체 카테고리에 대해 사전 훈련된 완전히 지도 학습된 랜드마크 검출기의 특징을 활용하여, 레이블이 없는 상태에서 객체 랜드마크를 탐지하는 비지도 객체 랜드마크 발견 방법을 제안한다. 사전 훈련된 네트워크를 고정하고 비지도 학습 방식으로 작은 투영 행렬만 학습함으로써, 무작위 초기화나 미세조정과 비교해 높은 정확도와 안정성을 확보한 상태에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper proposes a method to ease the unsupervised learning of object landmark detectors. Similarly to previous methods, our approach is fully unsupervised in a sense that it does not require or make any use of annotated landmarks for the target object category. Contrary to previous works, we do however assume that a landmark detector, which has already learned a structured representation for a given object category in a fully supervised manner, is available. Under this setting, our main idea boils down to adapting the given pre-trained network to the target object categories in a fully unsupervised manner. To this end, our method uses the pre-trained network as a core which remains frozen and does not get updated during training, and learns, in an unsupervised manner, only a projection matrix to perform the adaptation to the target categories. By building upon an existing structured representation learned in a supervised manner, the optimization problem solved by our method is much more constrained with significantly less parameters to learn which seems to be important for the case of unsupervised learning. We show that our method surpasses fully unsupervised techniques trained from scratch as well as a strong baseline based on fine-tuning, and produces state-of-the-art results on several datasets. Code can be found at https://github.com/ESanchezLozano/SAIC-Unsupervised-landmark-detection-NeurIPS2019 .

연구 동기 및 목표

• 비지도 객체 랜드마크 검출의 과제를 해결하기 위해, 모호성, 고수준의 의미적 콘텐츠, 시점의 변화, 기형성 등으로 인해 어려운 문제에 대응한다.
• 다른 객체 카테고리에서 사전 훈련된 지도 학습 랜드마크 검출기의 지식을 활용하여 고비용의 수동 레이블링이 필요 없는 것을 줄인다.
• 최소한의 파라미터 업데이트로 제약 조건이 있는 최적화 문제로 적응을 공식화하여 비지도 랜드마크 발견의 성능을 향상시킨다.
• 경량 적응 모듈을 사용하여 다양한 객체 카테고리에 걸쳐 효율적이고 확장 가능한 랜드마크 발견을 가능하게 한다.
• 정확도와 일관성 측면에서 비지도 무작위 초기화 및 표준 미세조정 기반 베이스라인을 모두 능가한다.

제안 방법

• 방법은 사전 훈련된 완전히 지도 학습된 랜드마크 검출기를 고정된 코어 네트워크로 사용하며, 훈련 중에 업데이트되지 않는다.
• 코어 네트워크의 특징을 대상 객체 카테고리에 적응시키기 위해 오직 작은 학습 가능한 투영 행렬만 비지도 학습 방식으로 학습한다.
• 동일한 객체의 다양한 시점과 변환에 걸쳐 일관성 오차를 최소화하는 제약 조건이 있는 최적화 문제를 통해 적응을 수행한다.
• 레이블이 없을 때 일반화 능력을 향상시키고 적응의 안정성을 높이기 위해 점진적 학습 원리를 활용한다.
• 추론 단계에서 히트맵 예측을 이산 랜드마크 좌표로 변환하기 위해 소프트아르맥스 레이어를 사용한다.
• 랜드마크 안정성과 정확도를 측정하기 위해 전진 및 후진 일관성 오차를 사용하여 방법을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 지도 학습 랜드마크 검출기가 완전히 비지도 방식으로 새로운, 알려지지 않은 객체 카테고리에 효과적으로 적응할 수 있는가?
• RQ2 코어 네트워크를 고정한 채로 오직 작은 투영 행렬만 학습하는 것이 무작위 초기화나 미세조정보다 성능이 뛰어나게 되는가?
• RQ3 다양한 시점에서의 랜드마크 정확도와 일관성 측면에서, 이 방법은 미세조정과 같은 강력한 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ4 사전 훈련된 코어 네트워크의 품질과 학습 이미지 수의 수준이 최종 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 역할 전환 작업—예를 들어, 얼굴 랜드마크 검출기에서 몸체 랜드마크를 탐지하도록 적응시키는 것—에도 일반화 가능한가?

주요 결과

• 제안된 방법은 MAFL, AFLW, LS3D, UT-Zappos50k, Cats Head 등 여러 데이터셋에서 최신 기술 수준의 성능을 달성했으며, MAFL에서 평균 일관성 오차는 2.14, Cats Head에서는 2.44를 기록했다.
• Cats Head 데이터셋에서, 방법은 무작위 초기화의 7.50에서 일관성 오차를 2.44로 감소시켜, 미세조정 기반 베이스라인(3.05)을 크게 능가했다.
• 68점 얼굴 랜드마크 네트워크를 코어로 사용하여 10개의 몸체 랜드마크를 탐지할 때 BBC-Pose 데이터셋에서 일관성 오차 2.52를 기록하여 강력한 일반화 능력을 입증했다.
• MAFL 데이터셋에서 10 에포크 시 일관성 오차 15.09에서 110 에포크 시 2.52로 감소함으로써 충분한 훈련 시 강력한 수렴 성능을 보였다.
• 모든 평가된 데이터셋에서 무작위 초기화 및 미세조정을 모두 능가했으며, 랜드마크 안정성과 정확도 측면에서 일관된 향상을 보였다.
• 사전 훈련된 네트워크에 약 10%의 추가 파라미터만 추가하여 다양한 객체 카테고리로의 효율적 적응이 가능했다.