[논문 리뷰] Hard-Attention for Scalable Image Classification

Athanasios N. Papadopoulos, Paweł Korus외 1명|arXiv (Cornell University)|2021. 02. 20.

Advanced Neural Network Applications참고 문헌 76인용 수 10

한 줄 요약

이 논문은 Traversal Network(TNet)을 제안하며, 스케일 스페이스 전역에서 가장 정보가 풍부한 영역을 반복적으로 주시하는 다중 척도 하드-어텐션 아키텍처이다. 이는 더 높은 정확도를 달성하면서도 FLOPs, 메모리, 추론 시간을 감소시킨다. TNet는 주의한 위치의 수를 조절하여 정확도와 복잡도 사이의 조절 가능한 트레이드오프를 제공하며, 어텐션 맵을 통해 내재된 해석 가능성을 제공한다. ImageNet과 fMoW에서 하드-어텐션 기반 모델을 능가하며, 더 높은 정확도로 최대 2.5배 빠른 처리 속도를 달성한다.

ABSTRACT

Can we leverage high-resolution information without the unsustainable quadratic complexity to input scale? We propose Traversal Network (TNet), a novel multi-scale hard-attention architecture, which traverses image scale-space in a top-down fashion, visiting only the most informative image regions along the way. TNet offers an adjustable trade-off between accuracy and complexity, by changing the number of attended image locations. We compare our model against hard-attention baselines on ImageNet, achieving higher accuracy with less resources (FLOPs, processing time and memory). We further test our model on fMoW dataset, where we process satellite images of size up to $896 imes 896$ px, getting up to $2.5$x faster processing compared to baselines operating on the same resolution, while achieving higher accuracy as well. TNet is modular, meaning that most classification models could be adopted as its backbone for feature extraction, making the reported performance gains orthogonal to benefits offered by existing optimized deep models. Finally, hard-attention guarantees a degree of interpretability to our model's predictions, without any extra cost beyond inference. Code is available at $\href{https://github.com/Tpap/TNet}{github.com/Tpap/TNet}$.

연구 동기 및 목표

• 딥 러닝에서 고해상도 이미지를 처리할 때 발생하는 제곱형 계산 및 메모리 비용 문제를 해결하기 위해.
• 정확도를 희생시키지 않고도 효율적이고 확장 가능한 이미지 분류를 가능하게 하기 위해.
• 추가적인 추론 비용 없이도 하드-어텐션 기반 메커니즘을 통해 내재된 해석 가능성을 제공하기 위해.
• 기존 딥 러닝 백본과 호환되는 모듈식이며 엔드 투 엔드로 훈련 가능한 아키텍처를 제공하기 위해.

제안 방법

• TNet는 다중 척도에서 위에서 아래로, 재귀적인 방식으로 이미지를 처리하며, 오직 가장 정보가 풍부한 영역만 방문한다.
• 각 척도에서 이미지 위치를 선택하기 위해 미분 가능한 정책 네트워크를 사용하며, 수정된 REINFORCE 규칙에 따라 유도된다.
• 각 처리 수준에서 특징 추출을 병렬로 수행하여 순차적 RNN을 피하고 직접적인 기울기 전파를 가능하게 한다.
• 다양한 위치에서 주의를 기울인 특징들을 평균화하고 통합하여 전역 표현을 구성하여 분류에 사용한다.
• 새로운 정규화 방법을 통해 개별 주의한 위치에 기반한 분류를 장려함으로써 일반화 성능을 향상시킨다.
• 소프트-어텐션 또는 추가 역전파 없이 하드-어텐션을 적용하여, 추가 비용 없이도 해석 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 제곱형 계산 복잡도를 유발하지 않으면서도 고해상도 이미지에서 높은 정확도를 달성할 수 있는가?
• RQ2 기존 하드-어텐션 기반 모델 대비 다중 척도 하드-어텐션 메커니즘이 효율성과 정확도를 향상시키는가?
• RQ3 추가적인 추론 또는 훈련 오버헤드 없이 하드-어텐션은 내재된 해석 가능성을 제공할 수 있는가?
• RQ4 적은 수의 더 정보가 풍부한 영역에 집중함으로써 일반화에 어떤 영향을 미치는가, 특히 위성 영상처럼 저대비도 또는 혼잡한 환경에서의 영향은?
• RQ5 모델 성능을 백본 아키텍처에서 분리하여, 최적화된 모델과 즉시 통합 가능한 플러그 앤 플레이 통합이 가능한가?

주요 결과

• ImageNet에서 TNet는 강력한 하드-어텐션 기반 모델보다 더 높은 정확도를 달성하면서도 FLOPs가 적고, 메모리 소비도 적고, 추론 속도도 더 빠르다.
• fMoW에서 TNet는 896×896 위성 영상을 기반 모델 대비 최대 2.5배 더 빠르게 처리하면서도 더 높은 정확도를 달성한다.
• ImageNet에서 정밀도는 높고(배경에 대한 주의가 최소한임을 시사), 재현율은 낮아, 객체 경계 상자 내에서 집중된 주의를 반영한다.
• fMoW에서 정밀도는 낮고 재현율은 높아, 큰 이미지 전역에서 희박한 작은 객체에 주의를 기울일 수 있음을 반영한다.
• 주의한 위치 수가 증가함에 따라 커버리지가 비선형적으로 증가하여, 겹치는 주의 영역이 있음을 시사한다.
• 제거 분석 결과, 제안된 정규화 방법이 정보가 풍부한 개별 위치에 주의를 기울이도록 유도함으로써 성능 향상에 크게 기여함을 확인했다.