[논문 리뷰] Deep saliency: What is learnt by a deep network about saliency?

Sen He, Nicolas Pugeault|arXiv (Cornell University)|2018. 01. 12.

Visual Attention and Saliency Detection참고 문헌 8인용 수 6

한 줄 요약

이 논문은 깊이 신경망이 색채 추출을 위해 학습하는 바를 역전파하여 활성도를 이미지 공간으로 되돌려보내는 시각화 방법을 제안한다. 이 과정에서 미세조정을 통해 더 깊은 레이어의 뉴런들이 중심-둘레 패턴으로 전환됨을 확인하였으며, 이는 인간의 시각 색채 이론과 유사하다. 이는 과제에 특화된 적응을 통해 생물학적으로 타당한 색채 특징을 깊이 신경망이 학습하고 있음을 보여준다.

ABSTRACT

Deep convolutional neural networks have achieved impressive performance on a broad range of problems, beating prior art on established benchmarks, but it often remains unclear what are the representations learnt by those systems and how they achieve such performance. This article examines the specific problem of saliency detection, where benchmarks are currently dominated by CNN-based approaches, and investigates the properties of the learnt representation by visualizing the artificial neurons' receptive fields. We demonstrate that fine tuning a pre-trained network on the saliency detection task lead to a profound transformation of the network's deeper layers. Moreover we argue that this transformation leads to the emergence of receptive fields conceptually similar to the centre-surround filters hypothesized by early research on visual saliency.

연구 동기 및 목표

• 깊이 합성곱 신경망이 색채 추출 과제에서 더 깊은 레이어에서 학습하는 표현 방식을 조사한다.
• 개별 뉴런의 수용 영역을 시각화하여 특징의 정교화를 이해함으로써 딥 러닝의 해석 가능성 격차를 해소한다.
• 사전 훈련된 네트워크가 색채 추출 과제에 대해 미세조정될 때 특징 표현 방식이 어떻게 변화하는지 분석한다.
• 학습된 특징이 중심-둘레 필터링 메커니즘을 제안한 시각 색채 이론과 일치하는지 확인한다.
• 원래 네트워크 아키텍처에 다시 입력하여 타겟 뉴런과 인접 뉴런의 활성도를 측정함으로써 시각화된 패턴의 해석 가능성 여부를 검증한다.

제안 방법

• 중간 레이어의 개별 뉴런 활성도를 일정한 값(예: 0.5에서 3)으로 수동으로 고정하여 그 반응을 고립시킨다.
• 디컨볼루션, ReLU, 업샘플링을 역순으로 적용하여 활성도를 역전파함으로써 각 뉴런을 최대한 자극하는 입력 패턴을 복원한다.
• 풀링 과정에서 잃어버린 공간 해상도를 복구하기 위해 희소한 특징 맵(비제로 값이 하나뿐인)을 반복하여 업샘플링함으로써 풀링 인덱스가 필요 없도록 한다.
• 학습된 필터의 전치 행렬을 사용하여 디컨볼루션을 적용하여 특징 맵 활성도를 생성한 입력 패턴을 복원한다.
• 역전파 과정에서 ReLU 비선형성을 적용하여 네트워크의 비선형 활성도 행동을 유지한다.
• 시각화된 패턴을 다시 네트워크에 입력하여 타겟 뉴런과 인접 뉴런의 활성도 수준을 측정함으로써 검증한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 상태와 비교하여 색채 추출 과제에 대해 미세조정을 거친 후 깊이 신경망 뉴런의 수용 영역은 어떻게 변화하는가?
• RQ2 더 깊은 레이어에서 학습된 수용 영역이 초기 시각 색채 이론에서 제안한 중심-둘레 필터링 메커니즘과 일치하는 패턴을 보이는가?
• RQ3 시각화된 패턴이 타겟 뉴런과 인접 뉴런을 얼마나 활성화하는가? 이는 특징 코딩의 부족함과 횡방향 억제에 대해 어떤 시사점을 갖는가?
• RQ4 역전파된 패턴이 원래 네트워크 아키텍처에서 선택된 뉴런을 진짜로 자극하는가를 신뢰성 있게 검증할 수 있는가?
• RQ5 미세조정이 일반적인 ImageNet 특징을 과제에 특화된 색채 표현으로 전환시키는 데 어떤 역할을 하는가?

주요 결과

• 색채 추출 과제에 대해 VGG-19 네트워크의 더 깊은 레이어 뉴런들이 미세조정을 거친 후, 일반적인 에지 및 텍스처 패턴에서 뚜렷한 중심-둘레 구성으로 전환된다.
• 중심-둘레 수용 영역의 출현은 사전 훈련된 ImageNet 모델에는 존재하지 않으며, 과제에 특화된 미세조정을 통해 유일하게 발생한다.
• 시각화된 패턴은 의도한 대로 타겟 뉴런을 활성화하며, 다수의 실행에서 일관된 활성도 수준을 보여 검증되었다.
• 동일 레이어의 인접 뉴런들도 활성화되므로, 중심-둘레 특징을 네트워크가 부족함 없이 표현하고 있음을 시사한다.
• 일부 뉴런은 활성화 도중 억제되므로, 생물학적 시각 시스템과 유사한 횡방향 억제 메커니즘이 존재함을 시사한다.
• 증가하는 활성도 에너지 동안 패턴의 전파 방식은 파동처럼 퍼지는 것과 유사하여, 더 높은 활성도 값일수록 더 넓고 퍼져 있는 수용 영역 반응을 유도함을 나타낸다.