[논문 리뷰] Joint Object and Part Segmentation using Deep Learned Potentials

Peng Wang, Xiaohui Shen외 4명|arXiv (Cornell University)|2015. 05. 01.

Advanced Neural Network Applications참고 문헌 55인용 수 27

한 줄 요약

이 논문은 의미적 구성 부분(semantic compositional parts, SCP)과 완전 연결 CRF(fully connected CRF, FCRF)를 사용하여 동시에 의미적 객체 및 부분 분할을 수행하는 통합 딥러닝 프레임워크를 제안한다. 두 채널의 FCN을 통해 SCP 및 객체 잠재변수를 다중 해상도에서 예측하고, FCRF를 통해 장거리 맥락을 활용해 예측을 정제함으로써, 이전 방법 대비 부분 분할에서 5% 이상, 객체 분할에서 5.3% 이상의 mIOU 향상을 달성하여 최신 기술 수준(SOTA)의 성능을 확보한다.

ABSTRACT

Segmenting semantic objects from images and parsing them into their respective semantic parts are fundamental steps towards detailed object understanding in computer vision. In this paper, we propose a joint solution that tackles semantic object and part segmentation simultaneously, in which higher object-level context is provided to guide part segmentation, and more detailed part-level localization is utilized to refine object segmentation. Specifically, we first introduce the concept of semantic compositional parts (SCP) in which similar semantic parts are grouped and shared among different objects. A two-channel fully convolutional network (FCN) is then trained to provide the SCP and object potentials at each pixel. At the same time, a compact set of segments can also be obtained from the SCP predictions of the network. Given the potentials and the generated segments, in order to explore long-range context, we finally construct an efficient fully connected conditional random field (FCRF) to jointly predict the final object and part labels. Extensive evaluation on three different datasets shows that our approach can mutually enhance the performance of object and part segmentation, and outperforms the current state-of-the-art on both tasks.

연구 동기 및 목표

• 객체 분할과 부분 분할 간 상호의존성을 해결하기 위해 두 작업을 함께 모델링하여 정확도를 향상시키기 위해.
• 유사한 객체 종류(예: 말과 소의 다리) 간 부분 레이블링의 모호성을 줄이기 위해 공유된 의미적 구성 부분(semantic compositional parts, SCP)을 활용하기 위해.
• 완전 연결 CRF(FCRF)를 통해 장거리 맥락 관계를 활용하여 객체 및 부분 예측을 정제하기 위해.
• 순차적 파이프라인에서 발생하는 오류 전파 문제를 해결하기 위해 객체 및 부분 분할을 종단 간(end-to-end) 일관성 있게 학습하고 추론하기 위해.

제안 방법

• 다른 객체 클래스 간에 시각적 및 구조적으로 유사한 부분(예: 말과 소의 다리)을 그룹화하기 위해 의미적 구성 부분(semantic compositional parts, SCP)을 도입한다.
• 다중 해상도의 이미지 스케일에서 SCP 잠재변수와 객체 잠재변수를 예측하기 위해 이중 채널 완전 컨volution 네트워크(fully convolutional network, FCN)를 학습시킨다.
• SCP 및 객체 잠재변수를 결합하고 추가적인 컨volution 레이어를 통과시켜 통합된 객체 잠재변수를 정제한다.
• SCP 예측에서 압축된 영역 제안을 생성하여 완전 연결 CRF(FCRF)의 노드로 활용한다.
• FCRF를 사용해 최종 객체 및 부분 레이블을 함께 추론하며, 장거리 맥락 제약 조건을 통해 일관성을 강제한다.
• 장거리 의존성을 탐색함으로써 예측을 정제하고 경계 정확도를 향상시키며 국소적 모호성을 감소시킨다.

실험 결과

연구 질문

• RQ1 순차적 또는 독립적인 접근 방식에 비해 객체 및 부분 분할의 공동 학습이 두 작업의 성능 향상에 기여하는가?
• RQ2 공유된 부분 표현(SCP)은 유사한 객체 종류 간의 부분 레이블링 모호성을 어떻게 줄일 수 있는가?
• RQ3 완전 연결 CRF를 통해 장거리 맥락을 통합할 경우, 객체 및 부분 분할의 정확도 향상에 어느 정도 기여하는가?
• RQ4 종단 간 공동 학습 및 추론은 객체 분할에서 부분 분할으로의 오류 전파를 줄일 수 있는가?

주요 결과

• 제안된 방법은 객체 분할에서 78.25%의 mIOU를 달성하여 기준 FCN(72.99%) 대비 5.3% 향상되었다.
• 의미적 부분 분할에서는 48.16%의 mIOU를 기록하여 이전 최신 기술(HC 방법)의 43.11% 대비 5.05% 향상되었다.
• 공동 FCN 및 FCRF 추론을 통한 전체 모델은 FCRF 없이 구현된 변형 대비 객체 분할에서 4% 이상의 성능 향상을 보이며 장거리 맥락의 가치를 입증했다.
• 공동 잠재변수를 활용한 FCRF는 FCN 기준 대비 성능을 4% 향상시켰으며, 이는 그래픽 모델 추론에 더 나은 증거를 제공한다는 것을 보여준다.
• 정성적 결과는 모델이 객체 스케일 맥락을 활용해 국소적 모호성을 성공적으로 해결함을 보여주며, 예를 들어 말 다리와 유사한 외관을 가진 소 다리를 정확히 식별하는 데 성공했다.
• 오류 전파 문제로 인해 정확한 객체 마스크가 영향을 미치는 순차적 파이프라인(HC 등)에 비해 본 방법은 성능에서 뛰어난 성능을 보였다.