[논문 리뷰] Salient Region Segmentation

Sen He, Nicolas Pugeault|arXiv (Cornell University)|2018. 03. 15.

Visual Attention and Saliency Detection참고 문헌 19인용 수 8

한 줄 요약

이 논문은 세 가지의 사활성 수준(높음, 중간, 낮음)을 가진 의미적 세그멘테이션 프레임워크를 사용하여 사활성 예측 문제를 사활성 영역 세그멘테이션 작업으로 재정의함으로써, 회귀 기반 방법보다 더 빠르고 안정적인 훈련을 가능하게 하면서도 최신 기술 수준의 시선 예측 성능을 달성한다. 모델은 심리물리학적 발견과 일치하는 중심-둘레 유사 특징을 학습한다.

ABSTRACT

Saliency prediction is a well studied problem in computer vision. Early saliency models were based on low-level hand-crafted feature derived from insights gained in neuroscience and psychophysics. In the wake of deep learning breakthrough, a new cohort of models were proposed based on neural network architectures, allowing significantly higher gaze prediction than previous shallow models, on all metrics. However, most models treat the saliency prediction as a extit{regression} problem, and accurate regression of high-dimensional data is known to be a hard problem. Furthermore, it is unclear that intermediate levels of saliency (ie, neither very high, nor very low) are meaningful: Something is either salient, or it is not. Drawing from those two observations, we reformulate the saliency prediction problem as a salient region extit{segmentation} problem. We demonstrate that the reformulation allows for faster convergence than the classical regression problem, while performance is comparable to state-of-the-art. We also visualise the general features learned by the model, which are showed to be consistent with insights from psychophysics.

연구 동기 및 목표

• 고차원 사활성 맵을 회귀하는 데 내재된 모호성과 어려움을 해결하기 위해 문제를 사활성 영역 세그멘테이션으로 재정의한다.
• 기존의 회귀 기반 사활성 모델에 비해 훈련 수렴성과 안정성을 향상시킨다.
• 딥 네럴 네트워크가 중심-둘레 대비와 같은 알려진 심리물리학 원리와 일치하는 특징을 학습하는지 조사한다.
• 특히 AUC보다 인간의 시선 패턴을 더 잘 반영하는 NSS와 같은 시선 기반 평가 지표를 사용하여 성능을 평가한다.

제안 방법

• 픽셀 단위의 사활성 회귀 대신 세 가지 수준의 사활성 세그멘테이션 작업(높음, 중간, 낮음)을 제안한다.
• 스킵 연결을 사용한 에코더-디코더 U-Net 스타일 아키텍처를 사용하여 공간 해상도를 유지한다.
• 유럽형 손실의 불안정성 문제를 피하기 위해 세그멘테이션에 교차 엔트로피 손실을 사용한다.
• 특징 맵의 공간 구조를 유지하면서 업샘플링하기 위해 디코더 경로에서 언풀링과 디컨볼루션을 적용한다.
• 희소 특징 맵을 통해 신경망 수용 필드를 재구성하는 수정된 활성화 시각화 기법을 사용하여 학습된 특징을 시각화한다.
• 표준편차를 사용하여 모델 출력을 정규화하여 NSS 점수를 계산함으로써 출력 분산 영향을 고려한다.

실험 결과

연구 질문

• RQ1 이산적 사활성 수준을 가진 세그멘테이션 작업으로 사활성 예측 문제를 재정의할 경우, 기존의 회귀 방법에 비해 훈련 수렴성과 성능이 향상되는가?
• RQ2 세그멘테이션 모델이 학습한 딥 특징이 심리물리학에서 알려진 중심-둘레 패턴과 일치하는가?
• RQ3 제안된 세그멘테이션 모델의 성능은 시선 예측 지표에서 최신 기술 수준의 회귀 기반 사활성 모델과 비교해 어떻게 되는가?
• RQ4 예측의 표준편차가 증가할수록 NSS 점수가 크게 감소하는 이유는 무엇이며, 이는 평가에 어떤 영향을 미치는가?

주요 결과

• 세그멘테이션 기반 모델은 단지 2,000개의 반복(iterations, 두 에포크) 내에 수렴하며, 이는 기존의 회귀 기반 모델이 느리고 진동하는 수렴을 보이는 것과는 대조된다.
• 단순화된 구조에도 불구하고, SALICON 데이터셋에서 NSS 점수 3.1471을 기록하여 최신 기술 수준의 회귀 모델과 유사한 시선 예측 성능을 달성한다.
• 모델 출력의 표준편차(0.1923)는 사활성 맵(0.0329)과 사활성 영역 맵(0.0777)보다 높아, 정규화 후에 더 낮은 정규화된 사활성 점수를 초래한다.
• 에코더의 최종 레이어에서 첫 64개의 뉴런에 대해 시각화한 결과 중심-둘레 패턴이 명확하게 나타나, 심리물리학적 중심-둘레 이론과의 일치를 확인한다.
• 영역 제한 메커니즋试은 AUC를 감소시키지만 NSS를 크게 향상시키며, 이는 NSS가 시선 기반 사활성 평가에 더 적합한 지표임을 시사한다.
• 디코어블루션은 세그멘테이션 및 회귀 설정 양쪽 모두에서 언풀링보다 성능이 뛰어나며, 특히 공간 세부 정보 유지 측면에서 뛰어나다.