[논문 리뷰] End-to-End Instance Segmentation and Counting with Recurrent Attention.

Mengye Ren, Richard S. Zemel|arXiv (Cornell University)|2016. 05. 30.

Advanced Neural Network Applications참고 문헌 43인용 수 55

한 줄 요약

이 논문은 인간의 수를 세는 방식을 모방하는 주의 메커니즘을 갖춘 엔드 투 엔드 순환 신경망을 제안하여 병렬 인스턴스 세분화와 객체 수를 수행한다. 각각의 영역을 순차적으로 생성하고, 각 영역에서 주요 객체를 세분화함으로써, CVPPP 및 KITTI 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

While convolutional neural networks have gained impressive success recently in solving structured prediction problems such as semantic segmentation, it remains a challenge to differentiate individual object instances in the scene. Instance segmentation is very important in a variety of applications, such as autonomous driving, image captioning, and visual question answering. Techniques that combine large graphical models with low-level vision have been proposed to address this problem; however, we propose an end-to-end recurrent neural network (RNN) architecture with an attention mechanism to model a human-like counting process, and produce detailed instance segmentations. The network is jointly trained to sequentially produce regions of interest as well as a dominant object segmentation within each region. The proposed model achieves state-of-the-art results on the CVPPP leaf segmentation dataset and KITTI vehicle segmentation dataset.

연구 동기 및 목표

• 장면 내 개별 객체 인스턴스를 구분하는 과제를 해결하기 위해, 자율 주행 및 시각 질문 응답과 같은 애플리케이션에 필수적인 작업을 수행한다.
• 인간과 유사한 수를 세는 과정을 모델링하는 방법을 개발한다.
• 엔드 투 엔드 학습 가능한 아키텍처에서 영역의 관심 영역과 주요 객체의 조밀한 세분화를 동시에 예측한다.
• CVPPP 및 KITTI와 같은 벤치마크 데이터셋에서 인스턴스 세분화 성능을 향상시킨다.

제안 방법

• 모델은 이미지 내에서 관심 영역을 순차적으로 생성하기 위해 순환 신경망(RNN)을 사용한다.
• 각 관심 영역을 생성할 때 관련된 이미지 특징에 집중하기 위해 주의 메커니즘을 사용한다.
• 각 영역 내에서 주요 객체에 대한 조밀한 세분화 마스크를 생성한다.
• 엔드 투 엔드로 동시에 최적화하기 위해, 인스턴스 세분화와 수를 세는 목표를 함께 학습한다.
• 객체를 하나씩 처리함으로써 인간의 수를 세는 방식을 모방하여 국소화 및 분리 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 순환 주의 메커니즘이 인스턴스 세분화를 위한 인간과 유사한 수를 세는 과정을 효과적으로 모델링할 수 있는가?
• RQ2 엔드 투 엔드 RNN에 주의 메커니즘을 적용한 모델이 기존 방법에 비해 병렬 인스턴스 세분화 및 수를 세는 데 얼마나 잘 작동하는가?
• RQ3 관심 영역을 순차적으로 생성하는 것이 인스턴스 분리 및 세분화 정확도를 향상시키는가?
• RQ4 이 모델은 CVPPP 및 KITTI와 같은 다양한 데이터셋에 일반화될 수 있는가?

주요 결과

• 제안된 모델은 CVPPP 잎 세분화 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 또한 KITTI 차량 세분화 데이터셋에서도 최신 기술 수준의 결과를 달성한다.
• 관심 영역과 세분화의 공동 학습은 인스턴스 분리 및 정확도 향상에 기여한다.
• 순환 주의 메커니즘의 사용은 추론 중 더 체계적이고 인간과 유사한 수를 세는 과정을 가능하게 한다.