[논문 리뷰] Semantics Meet Saliency: Exploring Domain Affinity and Models for Dual-Task Prediction

Amirul Islam, Mahmoud Kalash외 1명|arXiv (Cornell University)|2018. 07. 25.

Visual Attention and Saliency Detection참고 문헌 20인용 수 5

한 줄 요약

이 논문은 의미 분할과 주목도 맵을 동시에 예측하는 이중 작업 딥러닝 프레임워크를 제안하며, 두 작업 간 상호 성능 향상을 입증한다. 도메인 유사도와 정보 흐름 구성 요소를 탐색함으로써, 공유 특징 학습과 의미 객체의 동시 발생 분석을 통해 특히 'person'과 같은 빈번히 주목받는 카테고리에서 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Much research has examined models for prediction of semantic labels or instances including dense pixel-wise prediction. The problem of predicting salient objects or regions of an image has also been examined in a similar light. With that said, there is an apparent relationship between these two problem domains in that the composition of a scene and associated semantic categories is certain to play into what is deemed salient. In this paper, we explore the relationship between these two problem domains. This is carried out in constructing deep neural networks that perform both predictions together albeit with different configurations for flow of conceptual information related to each distinct problem. This is accompanied by a detailed analysis of object co-occurrences that shed light on dataset bias and semantic precedence specific to individual categories.

연구 동기 및 목표

• 의미 분할과 주목도 탐지의 병합이 하나의 딥러닝 프레임워크에서 상호 이점을 어떻게 제공하는지 조사한다.
• 의미와 주목도 간 도메인 유사도를 분석하며, 특히 의미 지식이 주목도 예측에 어떻게 영향을 주는지, 그 반대의 영향은 어떠한지 분석한다.
• 일관되게 주목도 순위에서 상위를 차지하는 객체 카테고리를 특정하고, 인지적 편향을 드러내는 동시 발생 패턴을 분석한다.
• 이중 작업 학습을 위한 다양한 네트워크 아키텍처를 평가하고 최적의 정보 흐름 구성 요건을 규명한다.

제안 방법

• 공유 및 작업별 브랜치를 활용해 의미 분할과 주목도 맵을 동시에 예측하는 엔드 투 엔드 딥 네ural 네트워크의 네 가지 변형을 제안한다.
• 스킵 연결을 갖춘 인코더-디코더 아키텍처를 사용하여 두 작업 모두에 대해 공간적 세부 정보를 유지한다.
• 의미 분할을 위한 교차 엔트로피와 주목도 예측을 위한 이진 교차 엔트로피를 조합한 다중 작업 손실 함수를 도입한다.
• 학습 및 평가에 PASCAL-S와 PASCAL VOC 데이터셋을 사용하며, 데이터 증강과 전이 학습을 적용한다.
• 공유된 특징 학습과 분리된 특징 학습의 영향을 평가하기 위해 네트워크 구성 요건에 대한 추론 연구를 수행한다.
• 주목도 카테고리 간의 동시 발생 분석을 수행하여 선호도 순위를 정량화하고 데이터셋 편향을 탐지한다.

실험 결과

연구 질문

• RQ1 의미 분할이 주목도 예측을 향상시키는가? 의미 지식이 주목도 영역을 식별하는 데 얼마나 유용한가?
• RQ2 주목도 예측은 미세한 의미 분할, 특히 경계 정의와 도형-배경 분리에서 성능 향상에 기여하는가?
• RQ3 의미와 주목도 작업 간 상호 향상을 가능하게 하는 최적의 네트워크 아키텍처와 정보 흐름 구성은 무엇인가?
• RQ4 어떤 의미 카테고리가 일관되게 가장 주목받는 것으로 평가되며, 그 순위에서의 지배적 위치는 어떤 요소에 의해 영향을 받는가?
• RQ5 인지적 편향 또는 데이터셋 편향을 드러내는 객체 쌍 간의 강한 동시 발생 패턴이 존재하는가?

주요 결과

• 제안된 이중 작업 모델은 PASCAL-S에서 mIoU를 0.66에서 0.67로 0.02 향상시켰으며, 'person'과 같은 자주 주목받는 카테고리에서 뚜렷한 성능 향상을 보였다 (IoU 0.84에서 0.86으로).
• 'person' 카테고리는 가장 자주 가장 주목받는 객체로 평가되며, 동시 발생 케이스에서 'motorbike'보다 높은 순위를 차지할 가능성이 50%에 이른다.
• 동시 발생 분석 결과, 'person'은 'dog', 'bus', 또는 'horse'와 함께 등장할 경우 주목도가 낮아지는 경향이 있으며, 이는 중심 배치, 작은 크기, 배경에 위치하는 등의 이유로 기인한다.
• 주목도 기반 의미 학습은 일반적으로 주목받는 카테고리에서 성능 향상을 이끌어내며, 이는 주목도 신호가 의미 특징 학습을 강화함을 시사한다.
• 공유 인코더와 작업별 헤드를 갖춘 모델이 분리된 구성보다 우수한 성능을 보이며, 이는 공유 표현 학습이 두 작업 모두에 유익함을 시사한다.
• 실패 케이스의 시각적 점검 결과, 동적인 동작이나 비-'person' 객체가 중심에 위치할 경우, 'person'이 존재하더라도 주목도가 상실되는 경향이 있다.