[논문 리뷰] Unsupervised Object Segmentation with Explicit Localization Module

Weitang Liu, Lifeng Wei외 2명|arXiv (Cornell University)|2019. 11. 21.

Advanced Neural Network Applications참고 문헌 13인용 수 4

한 줄 요약

이 논문은 픽셀 수준의 복원 품질을 기반으로 한 명시적 국소화 모듈을 사용하는 비지도 객체 분할 모델을 제안한다. 이 모듈은 배경에서 시작하여 복원이 어려운 더 복잡한 객체로 점진적으로 객체를 식별하고 분할한다. 이 방법은 특히 몬테주마의 레비린( Montezuma’s Revenge )과 같은 도전적인 배경과 복잡한 시나리오에서 분할 정확도를 향상시키며, 복원 어려움을 객체 탐지의 대체 지표로 활용함으로써 AMI 점수 0.375를 달성한다.

ABSTRACT

In this paper, we propose a novel architecture that iteratively discovers and segments out the objects of a scene based on the image reconstruction quality. Different from other approaches, our model uses an explicit localization module that localizes objects of the scene based on the pixel-level reconstruction qualities at each iteration, where simpler objects tend to be reconstructed better at earlier iterations and thus are segmented out first. We show that our localization module improves the quality of the segmentation, especially on a challenging background.

연구 동기 및 목표

• 암묵적이고 학습이 어려운 주의 메커니즘에 의존하는 주의 기반 비지도 객체 분할 모델의 한계를 해결하기 위해.
• 복원 어려움에 기반한 명시적 국소화를 통해 복잡한 배경에서의 분할 품질을 향상시키기 위해.
• 가장 쉬운(배경) 것부터 시작하여 점차 더 복잡하고 복원이 어려운 구조로 점진적으로 객체를 탐지하는 방법을 개발하기 위해.
• 주의 기반 접근 방식에서 발생하는 일관성 문제를 방지하기 위해 복원 품질에서 직접 마스크를 유도함으로써 복원과 국소화 간의 일관성을 확보하기 위해.
• 사전 정의된 주의 헤드나 복잡한 주의 학습 동역학에 의존하지 않고도 자동으로 객체 국소화를 가능하게 하기 위해.

제안 방법

• 복원 오차가 낮은 픽셀일수록 배경이나 간단한 구조에 속할 가능성이 높기 때문에, 복원 품질 지ap을 주로 국소화 신호로 사용한다.
• 복원 품질 지ap에 기반한 굵은 국소화 마스크를 적용하여 분할을 위한 관심 영역을 식별한다.
• 적은 수의 성분을 가진 혼합 정규분포 모델(GMM)을 사용하여 굵은 국소화 마스크를 정밀하게 개선하고 정확한 객체 경계를 생성한다.
• 배경부터 시작하여 한 번에 하나의 객체를 제거하면서 이미지를 반복적으로 복원하고, 점차 더 복잡한 세부 사항을 채워나간다.
• MONet의 학습 가능한 주의 네트워크를 대체로, 복원 오차를 직접 사용하여 객체 탐지를 유도하는 비모수적 국소화 모듈을 도입한다.
• 복원 품질 기반 손실을 도입하여, 복원이 어려운 영역에 집중하도록 모델을 유도하며, 이는 후보 객체로 해석된다.

실험 결과

연구 질문

• RQ1 비지도 객체 분할에서 픽셀 수준의 복원 품질이 신뢰할 수 있는 국소화 신호로 사용될 수 있는가?
• RQ2 학습 가능한 주의 메커니즘을 복원 기반 국소화 모듈로 대체하면 분할의 일관성과 성능이 향상되는가?
• RQ3 복원 어려움이 증가하는 순서로 점진적으로 객체를 탐지할 수 있는가? 특히 간단한 구조(예: 배경)부터 먼저 분할되는가?
• RQ4 이 방법은 도전적인 배경과 유사한 색상의 객체를 포함한 실제 세계 및 합성 데이터셋에 잘 일반화되는가?
• RQ5 명시적 국소화가 몬테주마의 레비린과 같이 객체가 배경과 색상을 공유하는 데이터셋에서 분할 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 모델은 몬테주마의 레비린에서 AMI 점수 0.375를 달성하여, 래프트, 뼈, 문, 열쇠와 같은 핵심 객체를 배경과 색상이 유사하더라도 성공적으로 식별한다.
• 카테고리 플라워 데이터셋에서는 0.632 ± 0.001의 분할 점수를 기록하여, 복잡한 배경을 가진 실제 세계 영상에서의 효과성을 입증한다.
• 카테고리 플라워 데이터셋에서 IODINE와 ReDO를 모두 초월하며, 다중-dSprites에서는 주의 기반 모델에 유리한 환경임에도 불구하고 기준 성능과 동등하거나 이를 초월한다.
• 명시적 국소화 모듈은 정확한 객체 국소화를 가능하게 한다: GMM의 좌표 평균을 통해 추출한 객체 위치는 표준값과 매우 유사하다. 표 2 및 그림 3에서 이를 확인할 수 있다.
• 제거 실험(ablation study) 결과, 위치 마스크(L)를 제거하거나 복원 품질(Q)에만 의존할 경우, 특히 단일 객체 이미지에서 분할 실패가 발생함을 확인하여 전체 모듈의 필요성을 입증한다.
• 모델은 배경과 시각적으로 뚜렷한 복잡한 객체, 예를 들어 몬테주마의 레비린 하단의 래프트를 성공적으로 분할한다. 이러한 객체는 초기 반복에서 복원이 잘 되지 않아 정확하게 객체로 식별된다.