[논문 리뷰] Transformation Properties of Learned Visual Representations

Taco Cohen, Max Welling|UvA-DARE (University of Amsterdam)|2014. 12. 24.

Advanced Vision and Imaging참고 문헌 18인용 수 40

한 줄 요약

이 논문은 3D 물체 회전에 따라 선형적으로 변형되는 시각적 표현을 학습하는 생성 모델을 제안한다. 비가환 회전군 SO(3)의 잠재 표현을 사용하여, 자세를 잠재 공간 위의 군 작용으로 모델링함으로써, 미관측된 물체 방향으로의 보간과 외삽을 정확하게 달성한다. 이는 비가환 표현이 균일한 샘플링 하에서 상호분리됨을 보여주며, 일반적인 자기지도 학습 목표의 이론적 근거를 제공한다.

ABSTRACT

When a three-dimensional object moves relative to an observer, a change occurs on the observer's image plane and in the visual representation computed by a learned model. Starting with the idea that a good visual representation is one that transforms linearly under scene motions, we show, using the theory of group representations, that any such representation is equivalent to a combination of the elementary irreducible representations. We derive a striking relationship between irreducibility and the statistical dependency structure of the representation, by showing that under restricted conditions, irreducible representations are decorrelated. Under partial observability, as induced by the perspective projection of a scene onto the image plane, the motion group does not have a linear action on the space of images, so that it becomes necessary to perform inference over a latent representation that does transform linearly. This idea is demonstrated in a model of rotating NORB objects that employs a latent representation of the non-commutative 3D rotation group SO(3).

연구 동기 및 목표

• 학습된 시각적 표현이 3D 시나리오 운동, 특히 회전에 어떻게 변형되는지 이해하기 위해.
• 불변 표현의 한계를 해결하기 위해 불변성 대신 변형 성질에 초점을 맞추기 위해.
• perspective 투영으로 인한 부분 관측에도 불구하고 SO(3)에 대해 선형적으로 변형되는 잠재 표현을 학습하는 모델 개발을 위해.
• 잠재 공간에서의 군 표현의 기약성과 통계적 상관 없음(분리성) 간의 이론적 연결을 수립하기 위해.
• 생성 모델을 통해 보간과 외삽을 통해 새로운 물체 자세로의 일반화를 입증하기 위해.

제안 방법

• 모델는 3D 회전군 SO(3)가 유니터리 군 표현을 통해 잠재 공간 위에서 선형적으로 작용하는 잠재 공간을 사용한다.
• 생성 신경망은 각 회전된 잠재 표현을 이미지로 매핑하며, 군 작용은 네트워크의 가중치에 내장되어 있다.
• 동일한 물체의 여러 시야를 나타내기 위해 단일 잠재 벡터의 계수를 사용하며, 각 시야는 SO(3)의 군 원소에 대응한다.
• 기약 표현의 직접 합으로 표현을 구축함으로써 군 이론과 수학적으로 일관성을 확보한다.
• 재구성 손실과 정규화를 조합한 정규화된 훈련 목표를 사용하여 분리된, 상호분리된 표현을 장려한다.
• 20° 애자이멀 회전을 통해 데이터 증강한 NORB 데이터셋에서 하드-EM 유사 알고리즘을 사용해 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 학습된 시각적 표현은 3D 강체 운동, 특히 회전에 대해 어떻게 변형되는가?
• RQ2 군 표현의 기약성과 잠재 공간에서의 통계적 독립성 또는 상관 없음(분리성) 간의 관계는 무엇인가?
• RQ3 SO(3)에 대해 선형적으로 변형되는 잠재 표현은 새로운 물체 자세로의 일반화를 가능하게 하는가?
• RQ4 perspective 투영으로 인한 부분 관측은 표현 변형의 선형성에 어떤 영향을 미치는가?
• RQ5 비가환 군 작용(SO(3))을 가진 학습 모델은 가환성 또는 선형 가정을 가진 모델보다 성능이 뛰어나게 되는가?

주요 결과

• 훈련 중에 관측되지 않은 물체 자세에 대해도 모델이 현실적인 이미지를 성공적으로 생성하여, 뛰어난 일반화 능력을 입증한다.
• 20° 간격으로만 훈련된 모델이 40° 애자이멀 회전 범위에서 정확한 보간을 달성한다.
• 이전에 관측되지 않은 자세(예: 0° 및 40°)로의 외삽은 물체 정체성을 유지하는 타당한 이미지를 생성한다.
• 기약 표현의 사용은 궤도의 균일한 샘플링 하에서 특징의 상호분리를 이끌어내며, 핵심 이론적 주장의 타당성을 검증한다.
• SO(3) 군 표현 기반의 모델 잠재 공간 구조는 시각적 특징의 일관되고 해석 가능한 변형을 가능하게 한다.
• 표준 오토인코더보다 자세 일반화 성능이 뛰어나며, 공변 표현을 학습하기 위한 수학적으로 탄탄한 프레임워크를 제공한다.