[논문 리뷰] Unsupervised Landmark Learning from Unpaired Data

Yinghao Xu, Ceyuan Yang외 3명|arXiv (Cornell University)|2020. 06. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 9

한 줄 요약

이 논문은 외관과 자세가 모두 다른 이미지 컬렉션에서 비쌍체, 비정렬된 이미지 컬렉션으로부터 비지도적 랜드마크 학습을 위한 교차 이미지 사이클 일致성 프레임워크(C³)를 제안한다. 이중 스왑-재구성 전략을 적용하고 교차 이미지 흐름 모듈을 도입하여 랜드마크 등변성 조건을 강제함으로써, 랜드마크 검출 및 의미적 정렬 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 비지도 방법들보다 뚜렷하게 뛰어난 성능을 보였다. 주요 벤치마크 데이터셋에서의 실험 결과, 이는 기존 기술 수준의 성능을 크게 초월하는 결과를 보였다.

ABSTRACT

Recent attempts for unsupervised landmark learning leverage synthesized image pairs that are similar in appearance but different in poses. These methods learn landmarks by encouraging the consistency between the original images and the images reconstructed from swapped appearances and poses. While synthesized image pairs are created by applying pre-defined transformations, they can not fully reflect the real variances in both appearances and poses. In this paper, we aim to open the possibility of learning landmarks on unpaired data (i.e. unaligned image pairs) sampled from a natural image collection, so that they can be different in both appearances and poses. To this end, we propose a cross-image cycle consistency framework ($C^3$) which applies the swapping-reconstruction strategy twice to obtain the final supervision. Moreover, a cross-image flow module is further introduced to impose the equivariance between estimated landmarks across images. Through comprehensive experiments, our proposed framework is shown to outperform strong baselines by a large margin. Besides quantitative results, we also provide visualization and interpretation on our learned models, which not only verifies the effectiveness of the learned landmarks, but also leads to important insights that are beneficial for future research.

연구 동기 및 목표

• 외관과 자세가 모두 다른 비쌍체 이미지 컬렉션에서 비지도적 랜드마크 학습을 가능하게 하여, 이전 방법들이 고정된 변환을 가진 합성된 이미지 쌍에 의존하는 데서 비롯되는 한계를 극복한다.
• 기존 비지도 방법에서 외관과 자세 요소의 분리가 불량한 문제를 해결하여, 자세에 특화된 표현에서 외관 특화 아티팩트가 발생하는 것을 방지한다.
• 교차 이미지 사이클 일치성과 기하학적 등변성 조건을 강제하여 랜드마크 일관성과 분리도를 향상시킨다.
• 학습된 랜드마크가 인간 얼굴 외의 다양한 객체 카테고리, 예를 들어 자동차와 침실 환경 등으로 일반화되는지를 입증한다.

제안 방법

• 각 이미지를 다른 이미지의 외관과 자신의 자세를 사용하여 재구성하는 방식으로, 두 번의 스왑-재구성 전략을 적용하는 교차 이미지 사이클 일치(C³) 프레임워크를 제안한다.
• 비쌍체 이미지 간의 조밀한 대응 맵을 추정하기 위해 교차 이미지 흐름 모듈을 도입하여, 검출된 랜드마크 간의 기하학적 일관성을 보장한다.
• 등변성 제약 조건을 적용한다: 한 이미지에서 검출된 랜드마크는 예측된 교차 이미지 흐름에 따라 일관되게 변형되어야 하며, 이는 임의의 해를 방지한다.
• 이중 단계 학습 프로세스를 사용한다: 첫 번째 단계에서는 조건부 오토에코더를 통해 외관과 자세 특징을 분리한다. 두 번째 단계에서는 적대적 손실과 재구성 손실을 통해 사이클 일치성과 랜드마크 등변성을 강제한다.
• 같은 외관이지만 다른 자세를 가진 이미지 쌍이 필요 없도록, 자연 이미지 컬렉션에서의 비쌍체 데이터를 활용한다.
• 교차 이미지 흐름 모듈을 의미적 정렬 작업에 응용하여, 관련 작업으로의 전이 가능성도 입증한다.

실험 결과

연구 질문

• RQ1 외관과 자세가 모두 다른 비쌍체 이미지 데이터에서, 고정된 변환을 가진 합성 이미지 쌍에 의존하지 않고도 비지도적 랜드마크 학습을 효과적으로 수행할 수 있는가?
• RQ2 사이클 일치성을 어떻게 활용하여 랜드마크 표현 학습에서 외관과 자세 요소의 분리도를 향상시킬 수 있는가?
• RQ3 흐름 모듈을 통한 교차 이미지 기하학적 대응 관계는 다양한 이미지 분포 간 랜드마크 일관성과 일반화 능력 향상에 어떤 역할을 하는가?
• RQ4 제안된 프레임워크는 얼굴 외의 객체 카테고리, 예를 들어 자동차와 실내 환경 등으로 얼마나 잘 일반화되는가?
• RQ5 학습된 랜드마크 표현은 의미적 정렬과 같은 관련 작업에서 성능 향상에 기여할 수 있으며, 효율성과 정확도 측면에서 최신 기술 수준의 방법들과 비교해 볼 때 어떤가?

주요 결과

• 제안된 C³ 프레임워크는 PF-PASCAL 데이터셋에서 의미적 정렬 작업에서 80.1%의 PCK 성능을 기록하였으며, 이는 이전 최신 기술 수준 방법인 NC-Net보다 1.2% 높은 성능이지만, FLOPs는 17%에 불과(81 GFLOPs 대 471 GFLOPs)하여 매우 효율적이다.
• 랜드마크 검출 작업에서는 강력한 베이스라인들보다 뚜렷하게 뛰어난 성능을 보이며, 자세에 특화된 랜드마크가 외관에 특화된 요소로부터 잘 분리되어 있음을 입증하였다.
• 시각화 결과, 복잡한 환경인 침실이나 자동차 이미지에서도 학습된 랜드마크가 기하학적·의미적으로 일관된 패턴을 보였다.
• 교차 이미지 흐름 모듈은 랜드마크 일관성을 향상시키며, 의미적 정렬 작업으로의 효과적인 전이를 가능하게 하여, 이 모듈이 교차 이미지 기하학적 관계를 모델링하는 데서 중요한 역할을 한다는 것을 검증하였다.
• 비쌍체 데이터에서 분리된 자세 특화 랜드마크를 성공적으로 학습하였으며, 기준 이미지의 외관 아티팩트가 발생하지 않는다는 점에서 정성적 비교 결과에서 이를 입증하였다.
• 자동차 및 침실 환경 등 다양한 객체 카테고리로의 일반화 능력이 뛰어나며, 일관된 랜드마크 패tern이 나타나는 것으로 보아, 강력한 구조적 이해 능력을 지닌 것으로 나타났다.