[논문 리뷰] Classifying a specific image region using convolutional nets with an ROI mask as input

Sagi Eppel|arXiv (Cornell University)|2018. 12. 01.

Advanced Neural Network Applications참고 문헌 6인용 수 6

한 줄 요약

이 논문은 관심 영역(ROI) 마스크를 주의 맵으로 통합하여 컨볼루션 신경망(CNN)을 사용해 특정 이미지 영역을 분류하는 방법을 제안한다. 이 방법은 네트워크의 초기 단계에서 ROI 마스크를 융합함으로써 특징 학습을 향상시키며, 배경 정보를 활용함으로써 소형 물체 분류 정확도를 높여 COCO 및 OpenSurfaces 데이터셋에서 배경 영역을 忽略하는 기존 방법들을 능가한다.

ABSTRACT

Convolutional neural nets (CNN) are the leading computer vision method for classifying images. In some cases, it is desirable to classify only a specific region of the image that corresponds to a certain object. Hence, assuming that the region of the object in the image is known in advance and is given as a binary region of interest (ROI) mask, the goal is to classify the object in this region using a convolutional neural net. This goal is achieved using a standard image classification net with the addition of a side branch, which converts the ROI mask into an attention map. This map is then combined with the image classification net. This allows the net to focus the attention on the object region while still extracting contextual cues from the background. This approach was evaluated using the COCO object dataset and the OpenSurfaces materials dataset. In both cases, it gave superior results to methods that completely ignore the background region. In addition, it was found that combining the attention map at the first layer of the net gave better results than combining it at higher layers of the net. The advantages of this method are most apparent in the classification of small regions which demands a great deal of contextual information from the background.

연구 동기 및 목표

• 이미지의 특정 물체 영역을 사전에 이진 ROI 마스크로 제공할 때, 그 영역의 분류 정확도를 향상시키는 것.
• 배경 주변의 맥락적 단서가 필요한 소형 또는 모호한 물체를 분류하는 데 도전하는 것.
• 표준 CNN 아키텍처 내에서 ROI 마스크 정보를 어떻게 그리고 어디에 통합할 것인지 최적의 성능을 내기 위해 탐색하는 것.
• 전체 이미지 맥락에 의존하지 않고도 ROI 마스크에서 파생된 주의 맵이 특징 학습을 어떻게 이끌 수 있는지 평가하는 것.

제안 방법

• 소형 컨볼루션 네트워크를 사용해 입력 ROI 마스크를 학습 가능한 주의 맵으로 처리하는 사이드 브랜치를 도입한다.
• 주 분류 네트워크의 첫 번째 컨볼루션 레이어에서 주의 맵과 융합하여 초기 특징 추출을 안내한다.
• 원소별 곱셈을 사용해 특징 맵을 조절함으로써 네트워크가 ROI에 집중하면서도 배경 맥락을 유지할 수 있도록 한다.
• 표준 ImageNet 사전 훈련된 분류 백본(예: ResNet)을 사용하고, 추가된 주의 브랜치와 함께 엔드 투 엔드 훈련을 수행한다.
• 이미지-라벨 쌍과 ROI 마스크 애너테이션을 함께 훈련하여 분류 정확도를 최적화한다.
• 융합 레이어의 위치에 대한 추론 연구를 수행하여, 첫 번째 레이어에서의 조기 융합과 더 깊은 레이어에서의 후기 융합을 비교한다.

실험 결과

연구 질문

• RQ1 ROI 마스크를 주의 맵으로 통합함으로써 표준 CNN에 비해 특정 이미지 영역의 분류 정확도가 향상되는가?
• RQ2 ROI 주의 맵의 융합이 물체 분류에 가장 효과적인 네트워크 레이어는 어디인가?
• RQ3 ROI 마스크를 통한 배경 맥락의 포함이 소형 또는 부분적으로 노출된 물체의 성능에 어떻게 영향을 주는가?
• RQ4 ROI 마스크를 처리하는 경량 사이드 브랜치가 배경 정보를 기각하는 방법보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ5 배경을 忽略하거나 다른 주의 메커니즘을 사용하는 기준 모델에 비해 제안된 방법은 어떻게 비교되는가?

주요 결과

• 이 방법은 COCO 물체 검출 데이터셋과 OpenSurfaces 소재 데이터셋에서 배경 영역을 忽略하는 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• 네트워크의 첫 번째 레이어에서 주의 맵을 융합하는 것이 더 깊은 레이어에서 융합하는 것보다 우수한 성능을 내었으며, 이는 조기 안내가 더 효과적임을 시사한다.
• 배경 맥락 정보가 정확한 예측에 필수적인 소형 영역에 대해 분류 정확도가 향상되었다.
• ROI 마스크에서 유도된 주의 맵은 관련 없는 배경 특징을 효과적으로 억제하면서도 주변 영역의 분류에 유용한 단서를 유지한다.
• 추론 연구를 통해 사이드 브랜치와 조기 융합 메커니즘이 이 방법의 성공에 핵심임을 확인하였으며, 융합을 연기하거나 생략할 경우 성능이 저하됨을 보였다.
• 이 방법은 다양한 데이터셋에 대해 잘 일반화되며, 복잡한 배경을 가진 실제 시나리오에서도 강건함을 입증하였다.