[논문 리뷰] Unsupervised part representation by Flow Capsules

Sara Sabour, Andrea Tagliasacchi외 3명|arXiv (Cornell University)|2020. 11. 27.

Image Processing and 3D Reconstruction참고 문헌 40인용 수 18

한 줄 요약

이 논문은 운동을 자기지도 신호로 사용하여 물체의 부분에 대한 기본 캡슐 표현을 학습하는 비지도 학습 방법인 FlowCapsules를 제안한다. 영상 프레임 간의 광학 흐름을 활용하고 깊이 순서를 모델링함으로써, FlowCapsules는 분리된 형태 마스크를 발견하고, 가림된 영역을 추론하며, 혼잡하고 무늬가 있는 장면에서 비지도 부분 분할 및 이미지 분류 성능에서 이전 방법들을 능가한다.

ABSTRACT

Capsule networks aim to parse images into a hierarchy of objects, parts and relations. While promising, they remain limited by an inability to learn effective low level part descriptions. To address this issue we propose a way to learn primary capsule encoders that detect atomic parts from a single image. During training we exploit motion as a powerful perceptual cue for part definition, with an expressive decoder for part generation within a layered image model with occlusion. Experiments demonstrate robust part discovery in the presence of multiple objects, cluttered backgrounds, and occlusion. The part decoder infers the underlying shape masks, effectively filling in occluded regions of the detected shapes. We evaluate FlowCapsules on unsupervised part segmentation and unsupervised image classification.

연구 동기 및 목표

• 지도 학습 없이 효과적인 저수준 부분 기술자(Descriptor)를 학습하는 데서 캡슐 네트워크의 한계를 해결하기 위해.
• 운동을 인지적 신호로 사용하여 단일 이미지에서 원자적인 시각적 부분을 비지도로 발견할 수 있도록 하기 위해.
• 가림, 혼잡함, 무늬 변화가 존재하는 상황에서 부분 분할 및 형태 복원을 향상시키기 위해.
• 캡슐 기반 생성 모델에서 형태, 자세, 깊이 순서를 분리시키기 위해.
• 실제 세계 및 시뮬레이션 데이터셋에서 기존 비지도 부분 발견 방법들을 능가하기 위해.

제안 방법

• 연속 영상 프레임 간의 광학 흐름을 추정하기 위해 시아모이 네트워크를 학습하며, 캡슐 자세를 지도 신호로 사용한다.
• 캡슐 인코더는 단일 이미지를 기반으로 캐논리컬 형태 마스크, 3D 자세(이동, 회전), 깊이 스칼라를 가진 기본 캡슐의 집합으로 매핑한다.
• 차별 가능한 디코더는 캡슐 파라미터에서 영상 프레임을 생성하며, 깊이 순서 기반 층화를 통해 가림을 모델링한다.
• 예측된 캡슐 운동과 관측된 광학 흐름 간의 일致성을 강제하는 흐름 재구성 손실을 사용한다.
• 가림 처리를 향상시키기 위해 디코더에서 깊이 순서를 명시적으로 모델링한다.
• 지상 진술 마스크나 레이블 없이 영상 프레임만을 사용하여 엔드 투 엔드로 자기지도 방식으로 학습한다.

실험 결과

연구 질문

• RQ1 영상 간 운동이 비지도 환경에서 의미 있는 시각적 부분을 발견하는 데 효과적인 자기지도 신호가 될 수 있는가?
• RQ2 깊이 순서를 고려한 캡슐 기반 표현이 형태 복원 및 가림에 대한 강건성을 향상시킬 수 있는가?
• RQ3 혼잡함과 무늬 변화 상황에서, 이미지 재구성 기반 방법과 비교해 FlowCapsules는 부분 분할 및 분류 성능에서 어떻게 성과를 내는가?
• RQ4 지도 없이도 모델이 형태, 자세, 깊이 순서를 어느 정도 분리시키는가?
• RQ5 이 방법은 다양한 물체 카테고리와 복잡한 장면에 대해 일반화되는가?

주요 결과

• FlowCapsules는 16개의 캡슐을 사용하여 Geo 데이터셋에서 94%의 IoU를 달성하고, Geo+에서는 88%를 기록하며, 비지도 부분 분할에서 PSD 및 SCAE를 능가한다.
• 암호 길이를 줄였을 때도 성능이 유지되며(예: |s_k|=3일 때 91% IoU), 압축된 형태 표현에 대한 강건성을 보여준다.
• 깊이 순서를 생략하면 성능이 크게 떨어지며(54% IoU), 이는 가림 처리에서 깊이 순서의 핵심적 역할을 입증한다.
• 더 깊은 디코더(6층)는 마스크의 매끄러움과 IoU를 향상시키며, 특히 원형 형태에서 유의미한 아키텍처적 이점을 보인다.
• CIFAR-100에서 k-means 클러스터링을 사용해 85.3%의 비지도 이미지 분류 정확도를 달성하며, SCAE를 능가한다.
• 모델은 어느 한 프레임에서도 부분이 완전히 보이지 않는 경우에도 부분적으로 가려진 영역을 복원하는 형태 마스크를 성공적으로 추론한다.