[논문 리뷰] Object Localization and Motion Transfer learning with Capsules.

Weitang Liu, Emad Barsoum외 1명|arXiv (Cornell University)|2018. 05. 20.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 객체 위치 추정과 운동 예측을 분리하기 위해 객체 좌표 원자와 LSTM 네트워크를 갖춘 CapsNet 기반 아키텍처를 제안한다. 위치 추정을 위한 새로운 라우팅 알고리즘과 운동 전이를 위한 파arameterized affine 변환 네트워크를 도입함으로써, 운동 예측을 새로운 데이터셋에 전이할 수 있으며, 단지 CapsNet만 재학습하면 되므로 운동 헤드를 재학습하지 않고도 운동 모델링의 데이터셋 간 전이 가능성을 입증한다.

ABSTRACT

Inspired by CapsNet's routing-by-agreement mechanism, with its ability to learn object properties, and by center-of-mass calculations from physics, we propose a CapsNet architecture with object coordinate atoms and an LSTM network for evaluation. The first is based on CapsNet but uses a new routing algorithm to find the objects' approximate positions in the image coordinate system, and the second is a parameterized affine transformation network that can predict future positions from past positions by learning the translation transformation from 2D object coordinates generated from the first network. We demonstrate the learned translation transformation is transferable to another dataset without the need to train the transformation network again. Only the CapsNet needs training on the new dataset. As a result, our work shows that object recognition and motion prediction can be separated, and that motion prediction can be transferred to another dataset with different object types.

연구 동기 및 목표

• 시각 이해 작업에서 객체 위치 추정과 운동 예측을 효과적으로 분리하기 위해.
• 운동 예측 능력을 새로운 데이터셋에 재학습 없이 전이할 수 있도록 하기 위해.
• 물리학에 영감을 받은 질량중심 계산과 동의 기반 라우팅을 활용하여 객체 위치 추정 정확도를 향상시키기 위해.
• 2차원 객체 좌표에서 이동 동역학을 학습하는 파arameterized affine 변환 네트워크를 설계하기 위해.

제안 방법

• 라우팅-동의 기반 기법을 수정하여 이미지 좌표계에서 객체 위치를 추정하기 위해 CapsNet 내에 객체 좌표 원자를 도입한다.
• 공간 일관성을 기반으로 동적 라우팅을 집계함으로써 정확도를 향상시키는 새로운 라우팅 알고리즘을 제안한다.
• 예측된 2차원 객체 좌표에서 시간적 동역학을 모델링하기 위해 별도의 LSTM 기반 네트워크를 사용한다.
• 과거 위치에서 미래 위치를 예측하기 위해 파arameterized affine 변환 네트워크를 적용하여 이동 변환을 학습한다.
• 기존에 학습된 운동 예측 네트워크의 가중치를 동결한 채로 새로운 데이터셋에서 CapsNet만 재학습함으로써, 운동 모델링의 제로샷 전이를 가능하게 한다.
• 좌표 원자 CapsNet의 출력과 운동 네트워크의 출력을 조합하여 동시 위치 추정과 운동 예측을 구현한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크에서 객체 위치 추정과 운동 예측을 효과적으로 분리할 수 있는가?
• RQ2 한 데이터셋에서 학습된 운동 예측 네트워크가 다른 객체 유형을 가진 다른 데이터셋으로 전이될 수 있는가? 재학습 없이도 가능한가?
• RQ3 좌표 원자를 활용한 동의 기반 라우팅 메커니즘이 이미지 좌표계에서 객체를 얼마나 정확하게 국소화하는가?
• RQ4 학습된 이동 변환은 어느 정도 다양한 데이터셋 간으로 일반화되는가?
• RQ5 파arameterized affine 변환 네트워크는 과거 좌표에서 미래 객체 위치를 정확하게 예측할 수 있는가?

주요 결과

• 한 데이터셋에서 학습된 운동 예측 네트워크가 다른 객체 유형을 가진 다른 데이터셋으로도 성공적으로 일반화되며, 재학습 없이도 기능한다.
• 새로운 데이터셋에 대해선 오직 CapsNet 컴포넌트만 재학습하면 되며, 운동 예측 헤드는 동결된 채로 유지되어 전이 가능하다.
• 좌표 원자를 활용한 제안된 라우팅 알고리즘이 표준 CapsNet 라우팅보다 객체 위치 추정 정확도를 향상시킨다.
• 파arameterized affine 변환 네트워크는 2차원 좌표에서 일관된 이동 동역학을 학습하여 미래 위치 예측의 정확도를 높인다.
• 위치 추정과 운동 예측의 분리로 인해 최소한의 피팅 튜닝으로도 다양한 데이터셋 간 효율적인 전이 학습이 가능하다.
• 객체 유형과 시각적 외관이 상당히 다를 경우에도 운동 모델링의 전이 가능성이 시스템에서 입증된다.