[논문 리뷰] AutoLink: Self-supervised Learning of Human Skeletons and Object Outlines by Linking Keypoints

Xingzhe He, Bastian Wandt외 1명|arXiv (Cornell University)|2022. 05. 21.

Human Pose and Action Recognition인용 수 11

한 줄 요약

AutoLink는 공유 그래프 구조를 통해 2D 관절 위치와 그 상호 연결 관계를 동시에 예측함으로써 자기지도 학습 방법을 제안한다. 이는 마스크 처리된 이미지를 재구성하기 위해 그래프 기반 엣지 맵을 사용하는 오토에인코더를 활용하여 구조와 외관을 분리한다. 이로 인해 다양한 물체 클래스(예: 동물, 손, 초상화 등)에 걸쳐 상태의 기준을 충족하는 관절 위치 추정 성능을 달성한다.

ABSTRACT

Structured representations such as keypoints are widely used in pose transfer, conditional image generation, animation, and 3D reconstruction. However, their supervised learning requires expensive annotation for each target domain. We propose a self-supervised method that learns to disentangle object structure from the appearance with a graph of 2D keypoints linked by straight edges. Both the keypoint location and their pairwise edge weights are learned, given only a collection of images depicting the same object class. The resulting graph is interpretable, for example, AutoLink recovers the human skeleton topology when applied to images showing people. Our key ingredients are i) an encoder that predicts keypoint locations in an input image, ii) a shared graph as a latent variable that links the same pairs of keypoints in every image, iii) an intermediate edge map that combines the latent graph edge weights and keypoint locations in a soft, differentiable manner, and iv) an inpainting objective on randomly masked images. Although simpler, AutoLink outperforms existing self-supervised methods on the established keypoint and pose estimation benchmarks and paves the way for structure-conditioned generative models on more diverse datasets. Project website: https://xingzhehe.github.io/autolink/.

연구 동기 및 목표

• 뼈대와 윤곽과 같은 구조적 물체 표현을 학습하기 위한 일반화 가능한 자기지도 학습 방법의 부족을 해결하기 위해.
• 비용이 많이 들기 때문에 각 도메인 별로 별도로 애너테이션을 필요로 하는 감독 기반 관절 학습의 한계를 극복하기 위해.
• 공유 그래프를 잠재 변수로 사용하여 구조적 토폴로지와 외관을 분리하는 것을 가능하게 하기 위해.
• 복잡한 질감과 통제되지 않은 배경을 포함한 다양한 이미지 도메인으로의 일반화를 가능하게 하기 위해.
• 레이블이 있는 관절 데이터에 의존하지 않고도 구조 조건 기반 이미지 생성을 가능하게 하기 위해.

제안 방법

• 이 방법은 입력 이미지에서 관절 위치를 예측하기 위해 컨볼루션 인코더를 사용한다.
• 학습 가능한 엣지 가중치를 가진 공유 그래프가 모든 동일한 클래스의 이미지 간 일관된 토폴로지를 모델링하는 잠재 변수로 기능한다.
• 중간 단계의 미분 가능한 엣지 맵은 관절 위치와 엣지 가중치를 조합하여 소프트하고 공간적으로 민감한 엣지 표현을 생성한다.
• 무작위로 마스크 처리된 픽셀을 가진 이미지에서 오토에인코더 재구성 목표를 통해 모델을 훈련시켜 디코더가 구조적 단서에 의존하도록 유도한다.
• 그래프 병목 구조는 외관과 분리된 구조적 정보만 유지되도록 보장한다.
• 훈련 목표는 고정밀도의 구조 인식 가능한 관절 그래프를 생성하도록 유도하며, 이는 고해상도 이미지 재구성 및 생성을 지원한다.

실험 결과

연구 질문

• RQ1 자신의 지도 학습 방법이 애너테이션된 관절 데이터 없이도 일관되고 해석 가능한 물체 구조(예: 인간 뼈대, 물체 윤곽 등)를 학습할 수 있는가?
• RQ2 공유 그래프를 통한 관절 연결이 다양한 이미지 도메인 간에 구조적 일관성을 강화하는 데 얼마나 효과적인가?
• RQ3 그래프 기반 병목 구조와 마스크 처리된 이미지 재구성으로 외관과 구조를 분리할 수 있는가?
• RQ4 관절 간의 명시적 연결을 모델링하는 것이 관절을 독립된 부분으로 간주하는 방법보다 관절 위치 추정 정확도를 향상시키는가?
• RQ5 학습된 구조가 다양한 데이터셋에서 조건 기반 이미지 생성과 같은 후속 작업을 얼마나 잘 지원하는가?

주요 결과

• AutoLink는 CUB, DeepFashion, Human3.6M와 같은 기존 벤치마크에서 기존 자기지도 학습 방법보다 우수한 관절 위치 추정 정확도를 달성한다.
• 이 방법은 포트레이트, 동물, 손, 꽃 등 다양한 데이터셋에서 인간 뼈대 토폴로지와 물체 윤곽을 성공적으로 복원하며, 혼잡한 배경과 복잡한 질감 조건에서도 효과를 발휘한다.
• 11k Hands, Horses, Zebras, Taichi를 포함한 새로운 도메인으로의 일반화 성능이 뛰어나 인간 중심 데이터를 넘어서도 안정적인 성능을 보인다.
• 그래프 기반 엣지 맵을 사용한 마스크 처리된 이미지 재구성은 구조적 정보와 외관을 효과적으로 분리하여 정확한 구조 예측을 가능하게 한다.
• 학습된 관절 그래프는 오토에인코더와 GAN을 모두 사용하여 고품질의 조건 기반 이미지 생성을 가능하게 하며, 구조 기반 생성 방식은 더 높은 시각적 정밀도를 보인다.
• 시각화 결과는 다양한 이미지 클래스 간에 의미 있는, 토폴로지 일관성을 유지하는 연결(예: 사지와 신체 부위 간의 정확한 연결)을 학습하고 있음을 확인한다.