[논문 리뷰] Unsupervised learning of object frames by dense equivariant image labelling

James Thewlis, Hakan Bilen외 1명|arXiv (Cornell University)|2017. 06. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 49인용 수 64

한 줄 요약

논문은 모든 이미지 픽셀을 변형에 불변한 밀도적이고 객체 중심의 좌표 공간으로 매핑하는 CNN을 학습시켜, 영상 변형만으로도 관절 가능하고 변형 가능한 객체(예: 얼굴, 로봇 팔)에 대해 일관된 객체 프레임의 비감독 학습을 가능하게 한다.

ABSTRACT

One of the key challenges of visual perception is to extract abstract models of 3D objects and object categories from visual measurements, which are affected by complex nuisance factors such as viewpoint, occlusion, motion, and deformations. Starting from the recent idea of viewpoint factorization, we propose a new approach that, given a large number of images of an object and no other supervision, can extract a dense object-centric coordinate frame. This coordinate frame is invariant to deformations of the images and comes with a dense equivariant labelling neural network that can map image pixels to their corresponding object coordinates. We demonstrate the applicability of this method to simple articulated objects and deformable objects such as human faces, learning embeddings from random synthetic transformations or optical flow correspondences, all without any manual supervision.

연구 동기 및 목표

• 시점 및 변형과 같은 잡음 요인을 제거함으로써 intrinsic 객체 구조의 비감독 발견을 동기화한다.
• 밀집된 픽셀별 객체 좌표로의 랜드마크 기반 시점 인자 분해를 확장한다.
• 픽셀을 표준 객체 중심 공간에 할당하는 신경망 표기 함수(라벨링 함수)를 도입한다.
• 사소한 해를 피하기 위한 서로 다른성 제약과의 등가성을 도입한다.
• 얼굴, 질감이 있는 구체, 간단한 관절 객체에 적용 가능성을 시연한다.”

제안 방법

• 이미지 픽셀을 저차원 객체 중심 공간 Z(구가 구면과 동형)로 매핑하는 밀집 등가 라벨링 Φ를 형식화한다.
• 이미지 변형 g에 대해 Φ(x, u) = Φ(gx, gu)로 등가성을 강제한다(또는 좌표상의 gwarp).
• 상수 라벨링을 방지하기 위해 구면에서의 최대 중첩 기준과 정렬하는 손실을 사용하여 식별성을 부과한다.
• 확률적 softmax를 통한 내부곱의 소프트 매핑으로 soft 대응을 가능하게 하는 R3에 라벨을 임베딩하여 불확실성을 표현한다(p(v|u; x, x′, Φ)).
• 합성 또는 실제 변형에서의 트리플(x, x′, g)로 학습하고 로그가능도 손실 Llog 또는 거리 기반 손실 Ldist(γ-robust)를 최적화한다.
• Dense 임베딩 학습의 수용 범위를 제어하기 위해 두 가지 CNN 구조 SIMPLE과 DILATIONS를 사용한다.

실험 결과

연구 질문

• RQ1 비레이블 이미지로부터 밀집한 객체 중심 좌표 프레임을 비감독적으로 학습할 수 있는가?
• RQ2 이 밀집 임베딩이 객체 내부 변형 및 카테고리 간 변 variation(예: 얼굴)에도 불변한가?
• RQ3 등가성과 함께 서로 다른성(distinctiveness)을 도입하는 것이 등가성만 사용할 때보다 학습에 어떤 영향을 미치는가?
• RQ4 합성/장난감 객체에서 인간 얼굴, 고양이 같은 실제 객체로 이 방법이 확장될 수 있는가?
• RQ5 레이블 공간 차원이 객체 기하학을 포착하는 데 어떤 영향을 미치는가(예: 2D 원형 대 3D 구면 의존성)?

주요 결과

• 밀집 객체 중심 좌표 프레임 Z를 비감독적으로 학습할 수 있으며, 국소적으로 매끄러운 라벨 매핑이 변형에 대해 등가적임을 보인다.
• 등가성과 서로 다른성의 결합은 사소한 상수 해를 방지하고 의미 있는 임베딩을 가능하게 한다.
• 3D 레이블 공간(L=3)을 가진 거리 기반 손실 Ldist은 여러 설정에서 수학적으로 더 일관된 임베딩을 생성한다는 점에서 로그 가능도 손실 Llog보다 우수하다.
• 캡슐 중심 위치 추정은 오류를 낮추며: Llog = 0.97%, γ=1의 Ldist = 1.13%, γ=0.5의 Ldist = 1.14%(이미지 너비의 백분율 기준).
• 팔, 질감이 있는 구체, 얼굴, 고양이에서 변형에 걸쳐 일관된 객체 프레임을 얻고, challenging한 경우(DILATIONS 아키텍처와 거리 기반 손실)에서 더 나은 성능을 보인다(얼굴, AFLW, MAFL 데이터셋).
• AFLW에서 최근접 이웃/랜드마크 회귀는 감독 없는-에서 감독 기반 성능에 비해 경쟁력 있는 성능을 보이며, 예를 들어 DILATIONS + Ldist, γ=0.5가 8.80% 오차에 도달하는 반면 감독 기준은 더 높다.