[논문 리뷰] MONET: Multiview Semi-supervised Keypoint via Epipolar Divergence.

Yasamin Jafarian, Yuan Yao외 1명|arXiv (Cornell University)|2018. 05. 31.

Advanced Vision and Imaging참고 문헌 38인용 수 12

한 줄 요약

MONET는 레이블이 없는 이미지 스트림에서 다중시점 기하학을 활용해 키포인트 검출기를 훈련하는 엔드 투 엔드 준지도 학습 프레임워크이다. 이는 시점 간 키포인트 예측을 정렬하기 위해 유연한 측도인 에피폴라 분산(epipolar divergence)을 도입한다. 이는 인간, 개, 원숭이를 포함한 다양한 종에서 최소한의 인간 레이블 데이터로도 맞춤형 키포인트를 정확하게 국소화할 수 있다.

ABSTRACT

This paper presents MONET -- an end-to-end semi-supervised learning framework for a keypoint detector using multiview image streams. In particular, we consider general subjects such as non-human species where attaining a large scale annotated dataset is challenging. While multiview geometry can be used to self-supervise the unlabeled data, integrating the geometry into learning a keypoint detector is challenging due to representation mismatch. We address this mismatch by formulating a new differentiable representation of the epipolar constraint called epipolar divergence---a generalized distance from the epipolar lines to the corresponding keypoint distribution. Epipolar divergence characterizes when two view keypoint distributions produce zero reprojection error. We design a twin network that minimizes the epipolar divergence through stereo rectification that can significantly alleviate computational complexity and sampling aliasing in training. We demonstrate that our framework can localize customized keypoints of diverse species, e.g., humans, dogs, and monkeys.

연구 동기 및 목표

• 대규모 레이블이 부족한 비인간 종에서 키포인트 검출기를 훈련하는 데 도전하는 것.
• 준지도 학습 키포인트 학습에서 다중시점 기하학을 활용해 자기지도 학습(self-supervision)을 유도하는 것.
• 기하학적 제약과 키포인트 예측 분포 간 표현 불일치를 해결하는 것.
• 엔드 투 엔드 훈련을 가능하게 하는 유연하고 기하학적 정보를 반영한 손실 함수를 설계하는 것.
• 최소한의 인간 레이블 데이터로 다양한 종에서 맞춤형 키포인트를 정확하게 국소화할 수 있도록 하는 것.

제안 방법

• 예측된 키포인트 분포가 에피폴라 선에서 떨어진 거리의 유연한 측도로 에피폴라 분산을 제안하며, 재투영 오차를 정량화한다.
• 계산 복잡도와 샘플링 앨리어싱을 줄이기 위해 스테레오 정규화된 이미지 쌍을 처리하는 트윈 네트워크 아키텍처를 설계한다.
• 명시적인 키포인트 대응이 없이도 시점 간 기하학적 일관성을 강제하기 위해 훈련 중 에피폴라 분산을 최소화한다.
• 스테레오 정규화를 통해 에피폴라 선을 수평선으로 정렬하여 기하학적 제약 계산을 단순화한다.
• 엔드 투 엔드 훈련 파이프라인에 유연한 에피폴라 분산 손실을 통합하여 준지도 키포인트 검출을 수행한다.
• 비라벨 데이터를 활용해 시점 간 일관된 키포인트 예측을 유도하기 위해 대비 학습 유사 전략을 활용한다.

실험 결과

연구 질문

• RQ1 에피폴라 분산은 다중시점 준지도 학습에서 키포인트 검출에 효과적이고 유연한 감독 신호로 기능할 수 있는가?
• RQ2 스테레오 정규화는 다중시점 키포인트 학습에서 훈련 효율성 향상과 앨리어싱 감소에 어떤 기여를 하는가?
• RQ3 MONET은 최소한의 인간 레이블 데이터로 다양한 비인간 종에서 맞춤형 키포인트를 어느 정도 정확하게 국소화할 수 있는가?
• RQ4 에피폴라 분산은 전통적인 기하학적 제약과 비교해 훈련 안정성과 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 복잡하거나 변형 가능한 몸체 구조를 가진 종, 예를 들어 원숭이와 개와 같은 종에 대해 이 프레임워크는 일반화 가능한가?

주요 결과

• MONET는 인간, 개, 원숭이를 포함한 다양한 종에서 최소한의 인간 레이블 데이터로 준지도 키포인트 검출 분야에서 최신 기술 수준의 성능을 달성한다.
• 에피폴라 분산의 사용은 효과적인 자기지도 학습을 가능하게 하여, 레이블이 없는 다중시점 데이터에서 키포인트 국소화 정확도를 크게 향상시킨다.
• 스테레오 정규화는 계산 복잡도를 감소시키고 샘플링 앨리어싱을 줄여 더 안정적이고 효율적인 훈련을 가능하게 한다.
• 다양한 형태학적 특성과 운동 패턴을 가진 종에서 고정밀도로 맞춤형 키포인트를 국소화할 수 있다.
• 에피폴라 분산은 시점 간 기하학적 일관성을 효과적으로 포착하여, 키포인트 분포가 에피폴라 선과 일치할 경우 재투영 오차가 0이 된다.
• 이 방법은 대규모 레이블링이 불가능한 비인간 종에 대해 강력한 일반화 능력을 보여준다.