[논문 리뷰] Processing Megapixel Images with Deep Attention-Sampling Models

Angelos Katharopoulos, François Fleuret|arXiv (Cornell University)|2019. 05. 03.

Medical Imaging Techniques and Applications인용 수 22

한 줄 요약

이 논문은 저해상도 이미지 뷰에서 계산된 주의 분포에서 샘플링을 통해 메가픽셀 이미지의 일부만 처리하는 엔드 투 엔드 미분 가능한 주의-샘플링 모델을 제안한다. 이 방법은 표준 SGD로 훈련하고 기울기 추정의 분산을 최소화함으로써 계산량과 메모리 사용량을 10배 줄이며, 전체 해상도 성능을 달성하면서도 전체 주의 모델과 유사한 정확도를 달성한다.

ABSTRACT

Existing deep architectures cannot operate on very large signals such as megapixel images due to computational and memory constraints. To tackle this limitation, we propose a fully differentiable end-to-end trainable model that samples and processes only a fraction of the full resolution input image. The locations to process are sampled from an attention distribution computed from a low resolution view of the input. We refer to our method as attention sampling and it can process images of several megapixels with a standard single GPU setup. We show that sampling from the attention distribution results in an unbiased estimator of the full model with minimal variance, and we derive an unbiased estimator of the gradient that we use to train our model end-to-end with a normal SGD procedure. This new method is evaluated on three classification tasks, where we show that it allows to reduce computation and memory footprint by an order of magnitude for the same accuracy as classical architectures. We also show the consistency of the sampling that indeed focuses on informative parts of the input images.

연구 동기 및 목표

• 메가픽셀 이미지를 처리할 때 기존 CNN의 계산 및 메모리 제약을 해결하기 위해.
• 패치별 레이블이 필요 없이 고해상도 이미지에서 모델의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 분류 정확도를 유지하면서 계산 비용과 메모리 사용량을 줄이기 위해.
• 기울기 역전파를 샘플링 과정을 통해 허용하는 미분 가능한 샘플링 메커니즘을 개발하기 위해.

제안 방법

• 입력 이미지의 저해상도 복제본에서 주의 분포를 계산하여 정보가 많은 영역을 식별한다.
• 이 주의 분포를 기반으로 전체 이미지에서 소수의 패치(예: 5개)를 샘플링한다.
• 샘플된 패치의 특징은 주의 가중치를 사용한 가중 평균을 통해 집계된다.
• 표준 SGD로 엔드 투 엔드 훈련이 가능하도록, 편향 없는 기울기 추정기법을 유도한다. 이는 강화 학습이나 변분 추론을 피한다.
• 주의 기반 샘플링이 전체 모델 출력의 최소 분산 추정기임을 증명한다.
• 구현에서 ResNet 기반의 특징 추출기와 주의 헤드를 위한 사층 컨볼루션 네트워크를 사용한다.

실험 결과

연구 질문

• RQ1 패치별 레이블이 없이도 메가픽셀 이미지를 효율적으로 처리할 수 있는 미분 가능한 샘플링 메커니즘을 설계할 수 있는가?
• RQ2 균일하거나 히우리스틱 샘플링보다 주의 분포에서 샘플링이 더 낮은 분산 추정기를 제공하는가?
• RQ3 메모리와 계산량을 10배 줄이면서도 전체 주의 모델과 유사한 정확도를 달성할 수 있는가?
• RQ4 강화 학습에 의존하지 않고 샘플링이 포함된 표준 SGD로 엔드 투 엔드 훈련이 가능한가?

주요 결과

• 제안된 주의-샘플링 모델은 192개 패치를 모두 처리하는 Deep MIL과 유사한 테스트 오차를 기록하면서도 오직 5개 패치만 사용한다.
• Deep MIL에 비해 메모리 사용량을 최대 30배, 추론 시간을 최대 25배 줄였다.
• 주의 분포에서 샘플링하는 것이 전체 모델 출력의 최소 분산 추정기임을 입증하여 통계적으로 최적임을 보였다.
• 패치별 레이블 없이도 주의 분포가 일관되게 정보가 많은 영역, 예를 들어 교통 표지와 같은 영역에 집중한다.
• 다운샘플링된 이미지에서 표준 CNN보다 더 우수한 일반화 성능을 보였다. 이는 속도 제한 번호와 같은 중요한 세부 정보가 손실되는 경우에도 성립한다.
• 이전의 고해상도 처리 제약을 극복하고, 단일 GPU를 사용하여 메가픽셀 이미지에서의 훈련과 추론을 가능하게 하였다.