[논문 리뷰] Learning to Zoom: a Saliency-Based Sampling Layer for Neural Networks

Adrià Recasens, Petr Kellnhofer외 3명|arXiv (Cornell University)|2018. 09. 10.

Visual Attention and Saliency Detection참고 문헌 26인용 수 7

한 줄 요약

이 논문은 공간 특징 추출을 향상시키기 위해 작업에 관련된 이미지 영역에 초점을 맞추기 위해 적응형 비균일 다운샘플링을 통해 학습하는, 미분 가능하고 색소 기반의 샘플링 레이어를 제안한다. 엔드 투 엔드로 훈련된 이 레이어는 입력 이미지를 왜곡하여 눈이나 종별 특징과 같은 색소적 특징을 강조함으로써, 눈의 방향 추정 및 미세 분류 작업에서 성능을 햖थ하고, 계산 효율성을 유지하면서도 불확실성 상황에서 점진적으로 성능이 저하된다.

ABSTRACT

We introduce a saliency-based distortion layer for convolutional neural networks that helps to improve the spatial sampling of input data for a given task. Our differentiable layer can be added as a preprocessing block to existing task networks and trained altogether in an end-to-end fashion. The effect of the layer is to efficiently estimate how to sample from the original data in order to boost task performance. For example, for an image classification task in which the original data might range in size up to several megapixels, but where the desired input images to the task network are much smaller, our layer learns how best to sample from the underlying high resolution data in a manner which preserves task-relevant information better than uniform downsampling. This has the effect of creating distorted, caricature-like intermediate images, in which idiosyncratic elements of the image that improve task performance are zoomed and exaggerated. Unlike alternative approaches such as spatial transformer networks, our proposed layer is inspired by image saliency, computed efficiently from uniformly downsampled data, and degrades gracefully to a uniform sampling strategy under uncertainty. We apply our layer to improve existing networks for the tasks of human gaze estimation and fine-grained object classification. Code for our method is available in: http://github.com/recasens/Saliency-Sampler

연구 동기 및 목표

• 고정된 해상도 제약으로 인해 작업에 중요한 작은 또는 희박한 특징가 손실되는 균일한 다운샘플링의 한계를 해결한다.
• 눈의 방향 추정 및 종 분류와 같은 미세 또는 국소적 특징이 필요한 시각 작업에서 모델 복잡도를 증가시키지 않고 성능을 향상시킨다.
• 표준 균일 다운샘플링을 대체할 수 있는 플러그인형, 엔드 투 엔드 훈련 가능한 모듈을 개발하여 계산 효율성을 유지한다.
• 네트워크가 색소적 이미지 영역에서 어디서 어떻게 '줌 인'할지를 학습할 수 있도록 하여, 한 번의 순방향 전파 방식으로 인간의 시각 주의를 모방한다.
• 반복 처리를 피하고 훈련의 불안정성을 줄이며, 공간 변형기와 순차적 주의 메커니즘에 대한 강력한 대안을 제공한다.

제안 방법

• 고해상도 입력 이미지를 받아 색소 영역을 강조하는 변형된 다운샘플드 버전을 생성하는, 미분 가능한 샘플링 레이어를 도입한다.
• 경량 네트워크(예: ResNet-18 블록)를 사용하여 입력 이미지의 균일하게 다운샘플드된 버전에서 색소 지ap을 추정하여 작업에 관련된 영역을 식별한다.
• 색소 지도를 사용하여 샘플링 밀도를 조절한다: 높은 색소 값은 해당 영역에서 더 자주 샘플링(실제로는 확대)하도록 유도한다.
• 목표 해상도의 좌표에서 원본 이미지 좌표로 매핑하는 변형 그리드를 구성하며, 색소 지도에 의해 밀도가 제어되어 비균일 샘플링을 가능하게 한다.
• 백프로파게이션을 사용하여 전체 시스템을 엔드 투 엔드로 훈련시켜 색소 네트워크와 작업 네트워크가 함께 최적화되도록 한다.
• 색소 추정이 불확실할 경우 균일한 샘플링으로 점진적으로 성능이 저하되도록 하여 특이점이나 접힘이 발생하는 것을 방지함으로써 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 균일한 다운샘플링에 비해, 엔드 투 엔드 훈련 가능한 미분 가능한 샘플링 레이어가 작은 또는 희박한 특징에 주의가 필요한 시각 작업에서 성능 향상에 기여할 수 있는가?
• RQ2 공간 변형기나 영역 제안 네트워크와 같은 기존 방법과 비교할 때, 제안된 색소 기반 샘플링 레이어의 정확도와 훈련 안정성은 어떠한가?
• RQ3 색소 샘플러는 눈의 방향 추정 및 미세 분류와 같은 다양한 데이터셋과 작업에 대해 얼마나 일반화될 수 있는가?
• RQ4 이 방법은 이미지 영역 전반에 걸쳐 적응형 비균일 샘플링을 가능하게 하면서도 계산 효율성을 유지하는가?
• RQ5 색소 네트워크의 복잡도는 성능에 어떤 영향을 미치며, 깊이를 늘릴 경우 성능 향상의 감소 효과는 어느 정도인가?

주요 결과

• iNaturalist 미세 분류 데이터셋에서 색소 샘플러는 ResNet-101의 정확도를 균일한 다운샘플링 대비 2.9% 향상시켰으며, 더 깊은 색소 네트워크는 성능 향상의 감소 효과를 보였다.
• CUB-200 데이터셋에서 이 방법은 기준 ResNet-50보다 2.9% 정확도를 향상시켰으며, 더 높은 계산 비용을 요구하는 DT-RAM(224×224) 버전보다도 1.7% 높은 정확도를 기록했고, 계산 비용은 더 낮았다.
• CUB-200에서 227×227 입력을 사용할 경우 색소 샘플러는 2.9%의 정확도 향상을 달성하여, 다양한 이미지 품질과 크롭 방식을 가진 데이터셋 간에서도 일관된 성능 향상을 보였다.
• 균일한 다운샘플링을 사용하는 기준 모델보다 성능이 뛰어나며, 단일 순방향 전파를 사용함에도 불구하고 더 복잡한 모델인 DT-RAM(448×448)의 정확도를 따라하거나 초월했다.
• 색소 네트워크의 깊이가 성능에 측정 가능한 영향을 미쳤지만, 성능 향상의 감소 효과가 있었으며, CUB-200에서 6층일 경우 정확도 81.6%에서 14층일 경우 84.5%로 상승하여 높은 복잡도에서 포화 상태에 도달함을 나타냈다.
• 이 방법은 공간 변형기 네트워크나 탄성 컨볼루션에서 흔히 볼 수 있는 불안정성과는 다르게 안정적인 훈련 행동을 보였으며, 눈의 방향 추정에서 양쪽 눈의 기하학적 관계를 효과적으로 유지했다.