[논문 리뷰] Unsupervised Discovery of Object Landmarks as Structural Representations

Yuting Zhang, Yijie Guo외 4명|arXiv (Cornell University)|2018. 04. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 15인용 수 7

한 줄 요약

이 논문은 객체 랜드마크의 구조적 제약 조건을 강제하여 비지도 학습 방식으로 의미 있는 객체 랜드마크를 탐지하는 미분 가능 오토에인코드 프레임워크를 제안한다. 이 방법은 수동으로 레이블링된 랜드마크를 예측하는 데 이전의 비지도 접근 방식보다 뛰어나며, 발견된 랜드마크를 사용하여 제어 가능한 이미지 생성을 가능하게 한다. 이는 인지 가능한, 분리된 구조적 표현으로서의 기능을 수행한다.

ABSTRACT

Deep neural networks can model images with rich latent representations, but they cannot naturally conceptualize structures of object categories in a human-perceptible way. This paper addresses the problem of learning object structures in an image modeling process without supervision. We propose an autoencoding formulation to discover landmarks as explicit structural representations. The encoding module outputs landmark coordinates, whose validity is ensured by constraints that reflect the necessary properties for landmarks. The decoding module takes the landmarks as a part of the learnable input representations in an end-to-end differentiable framework. Our discovered landmarks are semantically meaningful and more predictive of manually annotated landmarks than those discovered by previous methods. The coordinates of our landmarks are also complementary features to pretrained deep-neural-network representations in recognizing visual attributes. In addition, the proposed method naturally creates an unsupervised, perceptible interface to manipulate object shapes and decode images with controllable structures. The project webpage is at http://ytzhang.net/projects/lmdis-rep

연구 동기 및 목표

• 인간 레이블링 없이도 객체의 내재적 구조—특히 의미적으로 유의미한 랜드마크—를 학습하는 것.
• 딥 뉴럴 네트워크가 객체 종류의 인지 가능한, 압축된 구조적 표현을 자연스럽게 개념화하는 데에 한계가 있음을 해결하는 것.
• 랜드마크 좌표를 통해 역전파를 가능하게 하는 미분 가능한 프레임워크를 개발하여 재구성 및 구조적 정규화와 함께 종단 간 학습을 허용하는 것.
• 객체 형태의 조작과 제어 가능한 구조적 구성이 가능한 시각적 인터페이스를 비지도 방식으로 제공하는 것.

제안 방법

• 에코더가 랜드마크 좌표를 출력하고 디코더가 이 랜드마크를 입력 표현의 일부로 사용하여 입력 이미지를 재구성하는 오토에인코드 작업으로서 랜드마크 탐지를 공식화한다.
• 학습 중에 발견된 랜드마크의 기하학적 및 의미적 타당성을 보장하기 위해 부드러운 제약 조건(볼록성, 분리성, 동치성)을 도입한다.
• 재구성 손실에서 랜드마크 좌표로 기울기가 흐르도록 허용하는 미분 가능한 랜드마크 검출 모듈을 사용하여 종단 간 최적화를 가능하게 한다.
• 이미지 재구성 손실(NLL, 고정된 색상 분산), 랜드마크 볼록성 손실, 랜드마크 분리성 손실, 랜드마크 동치성 손실을 조합한 다중 손실 목표 함수를 사용한다.
• 스케일 불변성을 확보하기 위해 구조적 정규화 손실을 계산하기 전에 랜드마크 좌표에 데이터 기반 정규화(이미지 크기 기준 상대적 위치)를 적용한다.
• 랜드마크 조건부 특징과 무작위 노이즈를 요소별 곱셈과 채널 병합을 통해 융합하는 조건부 이미지 디코더를 사용하여 제어 가능한 이미지 생성을 구현한다.

실험 결과

연구 질문

• RQ1 비지도 학습 방식으로도 인간의 레이블링 없이 객체 랜드마크를 의미적으로 유의미하고 객체 인스턴스 간 공간적으로 일관된 방식으로 탐지할 수 있는가?
• RQ2 미분 가능한 오토에인코드 프레임워크는 랜드마크 좌표를 통해 효과적인 역전파를 가능하게 하여 랜드마크 탐지와 이미지 재구성의 공동 최적화를 이끌 수 있는가?
• RQ3 최신 비지도 방법과 비교해 볼 때, 발견된 랜드마크가 수동으로 레이블링된 랜드마크를 얼마나 잘 예측하는가?
• RQ4 발견된 랜드마크는 시각적 속성 인식에 효과적이고 분리된 구조적 특징으로서 기능할 수 있는가?
• RQ5 랜드마크 기반 디코더는 제어 가능한 이미지 생성과 형태 조작을 가능하게 하는가?

주요 결과

• 제안된 방법은 Thewlis 등(2017)의 최신 비지도 방법보다 수동으로 레이블링된 랜드마크 예측 정확도가 높으며, 특히 CelebA 및 AFLW 데이터셋에서 뛰어난 성능을 보였다.
• 발견된 랜드마크는 대량의 레이블링 데이터로 훈련된 완전히 지도 학습된 랜드마크 검출기와 유사한 성능을 보이며, 지도 레이블 없이도 강력한 일반화 능력을 입증했다.
• 랜드마크 좌표는 사전 훈련된 딥 뉴럴 네트워크 표현과 강력한 보완적 특징으로 기능하여 시각적 속성 인식 작업의 성능을 향상시켰다.
• 랜드마크 기반 이미지 디코더는 제어 가능한 이미지 생성을 가능하게 했으며, 발견된 랜드마크에 조건부로 생성된 이미지는 입력 구조와 시각적으로 일관되며 높은 정밀도를 달성했다.
• 모델은 하이퍼파rameter 변화에 대해 강건했으며, 데이터셋에 특화된 하이퍼파rameter(예: λ_recon, σ_sep)를 조정함으로써 성능 향상이 관찰되었다.
• 부드러운 제약 조건(볼록성, 분리성, 동치성)의 사용은 랜드마크 품질을 크게 향상시키고 모델이 중복되거나 관련 없는 랜드마크 구성을 학습하는 것을 방지했다.