[논문 리뷰] Reversible Recursive Instance-level Object Segmentation

Xiaodan Liang, Yunchao Wei외 5명|arXiv (Cornell University)|2015. 11. 14.

Advanced Neural Network Applications참고 문헌 31인용 수 11

한 줄 요약

이 논문은 반복적이고 적응적인 개선을 통해 객체 제안 개선과 인스턴스 세분화를 동시에 최적화하는 가역적 재귀 프레임워크인 R2-IOS를 제안한다. 각 제안에 대해 최적의 개선 반복 수를 동적으로 결정하는 가역적 게이트와 주로 객체를 분리하는 인스턴스 인식 노이즈 제거 오토에인코더를 사용함으로써, R2-IOS는 PASCAL VOC 2012에서 0.5 IoU 기준으로 66.7%의 AP^r 성능을 달성하여 이전 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

In this work, we propose a novel Reversible Recursive Instance-level Object Segmentation (R2-IOS) framework to address the challenging instance-level object segmentation task. R2-IOS consists of a reversible proposal refinement sub-network that predicts bounding box offsets for refining the object proposal locations, and an instance-level segmentation sub-network that generates the foreground mask of the dominant object instance in each proposal. By being recursive, R2-IOS iteratively optimizes the two sub-networks during joint training, in which the refined object proposals and improved segmentation predictions are alternately fed into each other to progressively increase the network capabilities. By being reversible, the proposal refinement sub-network adaptively determines an optimal number of refinement iterations required for each proposal during both training and testing. Furthermore, to handle multiple overlapped instances within a proposal, an instance-aware denoising autoencoder is introduced into the segmentation sub-network to distinguish the dominant object from other distracting instances. Extensive experiments on the challenging PASCAL VOC 2012 benchmark well demonstrate the superiority of R2-IOS over other state-of-the-art methods. In particular, the $ ext{AP}^r$ over $20$ classes at $0.5$ IoU achieves $66.7\%$, which significantly outperforms the results of $58.7\%$ by PFN~\cite{PFN} and $46.3\%$ by~\cite{liu2015multi}.

연구 동기 및 목표

• 객체의 크기, 자세, 가림 등 다양한 요인으로 인해 어려움을 겪는 인스턴스 수준 객체 세분화 문제를 해결하기 위해.
• 고정된 반복 수를 갖는 제안 개선 방식의 한계를 극복하기 위해, 제안에 따라 적응적인 개선 깊이를 허용하는 방식을 개발하기 위해.
• 상호 감독을 통해 제안 개선 및 인스턴스 세분화 네트워크를 공동으로 훈련시켜 정확도를 향상시키기 위해.
• 다중 겹치는 객체가 포함된 제안에서 주요 객체 인스턴스를 식별하기 위해.
• 훈련 및 추론 모두에서 각 제안에 대해 최적의 개선 반복 수를 결정할 수 있는 가역적 메커니즘을 개발하기 위해.

제안 방법

• R2-IOS는 다중 반복을 거쳐 객체 제안을 반복적으로 개선하고 세분화 마스크를 향상시키는 재귀 아키텍처를 사용한다.
• 가역적 제안 개선 하위 네트워크는 경계 상자 오프셋과 신뢰도 점수를 예측하며, 반복 수는 학습된 게이트 메커니즘에 의해 동적으로 결정된다.
• 인스턴스 수준 세분화 하위 네트워크에서 유도된 세분화 인식 특징은 제안 개선 네트워크를 업데이트하는 데 사용되어 상호 개선이 가능하게 한다.
• 세분화 하위 네트워크에 인스턴스 인식 노이즈 제거 오토에인코더를 통합하여 전역적 맥락을 모델링하고 각 제안 내 주요 객체 인스턴스를 분리한다.
• 프레임워크는 다양한 크기의 제안을 처리하기 위해 ROI 풀링을 사용하며, 두 하위 네트워크의 특징을 연결하여 반복적 개선을 수행한다.
• 가역적 게이트 메커니즘은 각 제안에 대해 최적의 반복 수로 되돌아갈 수 있도록 하여 효율성과 정확도를 보장한다.

실험 결과

연구 질문

• RQ1 세분화 네트워크와 함께 공동으로 훈련할 때, 재귀적이고 반복적인 제안 개선 방식이 인스턴스 수준 세분화 성능을 향상시킬 수 있는가?
• RQ2 가역적 메커니즘이 각 제안에 대해 최적의 개선 반복 수를 동적으로 결정할 수 있는가? 이는 과도하거나 부족한 개선을 방지할 수 있는가?
• RQ3 인스턴스 인식 오토에인코더를 통한 전역 맥락 모델링이 혼잡한 제안 내 주요 객체의 세분화를 어떻게 향상시키는가?
• RQ4 제안 개선에 세분화 인식 특징을 사용할 경우, 정렬 정확도는 얼마나 향상되는가?
• RQ5 고정된 반복 수 기반 대비, 적응적 반복 스케줄링이 일반화 능력과 성능 향상에 기여하는가?

주요 결과

• R2-IOS는 PASCAL VOC 2012에서 0.5 IoU 기준으로 66.7%의 AP^r 성능을 달성하여 PFN(58.7%) 및 이전 방법들(46.3%)을 크게 앞서나갔다.
• 가역적 게이트는 고정 반복 수 기반 베이스라인(R2-IOS recursive 4) 대비 1.5% 향상된 성능을 기록하여 적응적 반복 스케줄링의 유용성을 입증했다.
• 인스턴스 인식 노이즈 제거 오토에인코더를 제거할 경우 성능이 12.5% 이상 감소하여, 겹치는 제안 내 주요 인스턴스를 분리하는 데 핵심적인 역할을 함을 입증했다.
• 세분화 인식 특징의 사용은 제안 개선 및 세분화 정확도 양 측면에서 유의미한 향상을 가져왔으며, 효과적인 상호 감독이 이루어졌음을 보여주었다.
• 정성적 결과는 반복 수가 많을수록 점진적인 향상이 이루어지고, 충분한 재귀적 개선을 거친 후에야 완전한 객체 마스크가 복원됨을 보여주었다.
• 모델은 다수의 반복 개선 단계를 거친 후에야 혼잡한 환경에서 부분적으로 가려진 소파나 사람과 같은 객체를 성공적으로 세분화하였다.