[논문 리뷰] Segmentation from Natural Language Expressions

Ronghang Hu, Marcus Rohrbach외 1명|arXiv (Cornell University)|2016. 03. 20.

Multimodal Machine Learning Applications참고 문헌 25인용 수 28

한 줄 요약

이 논문은 자연어 표현을 통해 유도되는 픽셀 수준의 이미지 세분화를 위한 엔드 투 엔드 학습 가능한 순환 및 합성곱 신경망을 제안한다. 모델은 언어적 기술을 인코딩하기 위해 LSTM을 사용하고, 공간 응답 맵을 생성하기 위해 완전 합성곱 네트워크를 사용하며, 이는 상향 샘플링을 통해 정밀한 세분화 마스크를 생성한다. 이는 기준 데이터셋에서 이전 방법들에 비해 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

In this paper we approach the novel problem of segmenting an image based on a natural language expression. This is different from traditional semantic segmentation over a predefined set of semantic classes, as e.g., the phrase "two men sitting on the right bench" requires segmenting only the two people on the right bench and no one standing or sitting on another bench. Previous approaches suitable for this task were limited to a fixed set of categories and/or rectangular regions. To produce pixelwise segmentation for the language expression, we propose an end-to-end trainable recurrent and convolutional network model that jointly learns to process visual and linguistic information. In our model, a recurrent LSTM network is used to encode the referential expression into a vector representation, and a fully convolutional network is used to a extract a spatial feature map from the image and output a spatial response map for the target object. We demonstrate on a benchmark dataset that our model can produce quality segmentation output from the natural language expression, and outperforms baseline methods by a large margin.

연구 동기 및 목표

• 고정된 객체 카테고리 초과하는 자연어 표현으로 묘사된 이미지 영역에 대해 픽셀 수준의 세분화 마스크를 생성하는 데 도전하는 것.
• 속성, 공간 관계, 엔티티 간 상호작용을 포함한 복잡한 참조 표현을 정확하게 세분화하는 것.
• 시각적 및 언어적 입력을 동시에 처리할 수 있도록 엔드 투 엔드 학습 및 추론을 가능하게 하는 방법 개발.
• 경계 상자나 고정 카테고리 세분화에 의존하는 기존 방법들을 능가하는 것.
• 인간-로봇 상호작용 및 상호작용 기반 이미지 편집과 같은 정밀한 시각적 기반 적용을 지원하는 것.

제안 방법

• LSTM 네트워크가 입력 자연어 표현을 고정 길이의 벡터 표현으로 인코딩한다.
• 완전 합성곱 네트워크가 입력 이미지에서 공간 특징 맵을 추출한다.
• 인코딩된 언어 벡터와 이미지 특징 맵이 완전 합성곱 방식으로 다층 분류기 네트워크를 통해 융합되어 굵은 응답 맵을 생성한다.
• 粗한 응답 맵이 역합성곱을 통해 상향 샘플링되어 픽셀 수준의 세분화 마스크를 생성한다.
• 전체 모델은 표준 역전파 알고리즘을 사용하여 정답 세분화 마스크에 대한 지도 학습을 통해 엔드 투 엔드로 학습된다.
• 동일한 아키텍처를 사용하여 객체 영역(예: '파란 외투를 입은 사람')과 스타프 영역(예: '다리 위의 하늘') 모두를 처리할 수 있다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 시각적 및 언어적 입력을 동시에 처리하여 자연어 표현으로부터 정확한 픽셀 수준의 세분화를 생성할 수 있는가?
• RQ2 속성, 공간 관계, 다수의 엔티티를 포함한 복잡한 표현에 대해 모델의 성능은 어떠한가?
• RQ3 아키텍처 변경 없이 객체 영역과 스타프 영역 모두에 일반화할 수 있는가?
• RQ4 경계 상자 제안 기반 또는 고정 카테고리 세분화 기반 기준 방법과 비교해 정확도와 추론 속도에서 어떻게 성능을 내는가?
• RQ5 표현이 모호하거나 목표 영역의 경계가 복잡할 경우 모델의 실패 유형은 무엇인가?

주요 결과

• 제안된 모델은 ReferIt 벤치마크 데이터셋에서 정밀도와 평균 교차율(IoU) 모두에서 모든 기준 방법보다 크게 뛰어난 성능을 보였다.
• 고해상도 버전의 모델은 저해상도 변형보다 유의미하게 뛰어난 성능을 보였으며, 공간 세부 정보의 중요성을 입증했다.
• 모델은 객체 영역(예: '왼쪽에 있는 새')과 스타프 영역(예: '다리 위의 하늘') 모두에 대해 합리적인 세분화를 생성했다.
• 실패 케이스 분석 결과, 응답 맵은 일반적으로 올바른 영역을 커버하지만, 비정규적 또는 격자 기반으로 정렬되지 않은 객체의 경우 경계 정밀도가 제한될 수 있다.
• SCRC나 MCG 분류와 같은 제안 기반 방법 대비 빠른 추론 속도를 보였으며, 이미지당 추론 시간이 0.325초로, 기준 방법의 3~9초보다 빠르게 기록되었다.
• 질적 예시를 통해 다수의 엔티티나 복잡한 공간 관계를 포함한 어려운 표현에서도 높은 성능을 달성함을 확인했다.