[논문 리뷰] Semantic Aware Attention Based Deep Object Co-segmentation

Hong Chen, Yifei Huang외 1명|arXiv (Cornell University)|2018. 10. 16.

Visual Attention and Saliency Detection인용 수 6

한 줄 요약

이 논문은 복수의 이미지 간에 의미적으로 관련된 특징 채널을 선택적으로 강화하기 위해 버티컬 레이어에 학습 가능한 어텐션 메커니즘을 사용하는 의미 인식 기반 객체 동시 분할을 위한 새로운 어텐션 기반 딥 러닝 모델을 제안한다. 쌍별 상관관계 대신 전역 어텐션을 사용함으로써 선형 시간 복잡도를 달성하여 효율적인 다중 이미지 동시 분할을 실현하며, 훈련 데이터에 존재하지 않은 객체로의 일반화 성능도 확보한다.

ABSTRACT

Object co-segmentation is the task of segmenting the same objects from multiple images. In this paper, we propose the Attention Based Object Co-Segmentation for object co-segmentation that utilize a novel attention mechanism in the bottleneck layer of deep neural network for the selection of semantically related features. Furthermore, we take the benefit of attention learner and propose an algorithm to segment multi-input images in linear time complexity. Experiment results demonstrate that our model achieves state of the art performance on multiple datasets, with a significant reduction of computational time.

연구 동기 및 목표

• 기존의 동시 분할 방법이 입력 이미지 수에 따라 제곱 시간 복잡도로 증가하는 한계를 해결하기 위해.
• 쌍별 특징 상관관계에 의존하지 않고도 효율적이고 확장 가능한 다중 이미지 동시 분할을 가능하게 하기 위해.
• 입력 간의 의미적 일致성에 기반해 의미적으로 관련된 특징 채널을 선택적으로 강화함으로써 분할 정확도를 향상시키기 위해.
• 훈련 데이터에서 볼 수 없던 객체 카테고리로의 일반화를 가능하게 하기 위해, 사전 학습된 특징과 어텐션 메커니즘을 활용하기 위해.

제안 방법

• 모델은 복수의 입력 이미지에서 깊은 특징을 추출하기 위해 VGG16 기반 인코더를 사용한다.
• 버티컬 레이어에 의미 어텐션 러너를 도입하여, 동일한 의미 클래스에 의해 활성화된 특징 채널을 동적으로 강조한다.
• 세 가지 어텐션 메커니즘 — 전역 평균, 전역 최소, 그룹 평균 — 을 제안하여 상호 이미지 간 의미 일치성에 기반한 특징 선택을 유도한다.
• 어텐션 메커니즘은 완전 연결 및 평균 풀링 레이어를 통해 구현되어, 쌍별 상관관계의 제곱 시간 복잡도에서 벗어나 선형 시간 추론이 가능해진다.
• 디코더 헤드는 어텐션 처리된 특징에서 최종 분할 마스크를 재구성한다.
• 공간 어텐션을 GAP 이후에 추가하여 전역 풀링 과정에서 손실된 공간적 세부 정보를 복구한다.

실험 결과

연구 질문

• RQ1 버티컬 레이어에 존재하는 학습 가능한 어텐션 메커니즘이 복수의 이미지 간에 의미적으로 일致하는 특징을 효과적으로 식별하고 강화할 수 있는가?
• RQ2 쌍별 상관관계를 전역 어텐션으로 대체함으로써 정확도를 저하시키지 않은 채 선형 시간 복잡도의 동시 분할을 실현할 수 있는가?
• RQ3 훈련 중에 볼 수 없었던 객체 카테고리로의 일반화가 가능한가?
• RQ4 어텐션 메커니즘이 외관 및 배경 변화에 대해 얼마나 강건한가?

주요 결과

• 제안된 모델은 MSRC, Internet, iCoseg 데이터셋에서 최고 성능(SOTA)을 달성하였으며, iCoseg의 훈련 데이터에 없던 객체에서 87.1의 F1 스코어를 기록했다.
• 쌍별 상관관계를 회피함으로써 계산 복잡도를 제곱 시간에서 선형 시간으로 감소시켜, 복수의 이미지에 대한 효율적인 그룹 동시 분할을 가능하게 하였다.
• iCoseg 데이터셋에서, 즉각적 그룹 동시 분할 방법은 쌍별 방법(CA)보다 훈련 데이터에 없던 객체에서 더 높은 성능을 보였다 (87.1 vs. 84.2 F1 스코어).
• 시각화 결과는 채널별 어텐션 메커니즘이 클래스에 특화되어 있으며, 서로 다른 객체 클래스에 대해 별개의 어텐션 패턴을 보임을 확인하였다.
• 공간 어텐션 맵은 전역 평균 풀링 이후 손실된 局소적 의미적 세부 정보를 성공적으로 복구하였다.
• 모델는 배경 및 외관 변화에 대해 강건성을 보이며, 다양한 이미지 간에 객체를 효과적으로 동시 분할하였다.