[논문 리뷰] Dynamic Computational Time for Visual Attention

Zhichao Li, Yi Yang외 4명|arXiv (Cornell University)|2017. 03. 30.

Visual Attention and Saliency Detection참고 문헌 51인용 수 18

한 줄 요약

이 논문은 강화학습을 통해 추론을 언제 멈출지를 학습하는 Recurrent Visual Attention Model (RAM)의 확장판인 Dynamic Time Recurrent Attention Model (DT-RAM)을 제안한다. 이로 인해 입력에 따라 변동하는 계산 시간을 갖게 되며, 각 단계에서 계속/정지 행동을 추가함으로써 CUB-200-2011에서 평균 추론 시간을 40% 감소시켰고, 同시에 최신 기술 수준의 정확도 81.8%를 유지하였다.

ABSTRACT

We propose a dynamic computational time model to accelerate the average processing time for recurrent visual attention (RAM). Rather than attention with a fixed number of steps for each input image, the model learns to decide when to stop on the fly. To achieve this, we add an additional continue/stop action per time step to RAM and use reinforcement learning to learn both the optimal attention policy and stopping policy. The modification is simple but could dramatically save the average computational time while keeping the same recognition performance as RAM. Experimental results on CUB-200-2011 and Stanford Cars dataset demonstrate the dynamic computational model can work effectively for fine-grained image recognition.The source code of this paper can be obtained from https://github.com/baidu-research/DT-RAM

연구 동기 및 목표

• 입력 복잡도에 따라 추론 중 계산 시간을 변동시킬 수 있도록 시각적 주의 모델의 추론 과정에 유연성을 부여하기 위해.
• 재귀적 주의 네트워크에서 동적 정지 전략을 학습하기 위한 깊은 강화학습 정책을 해결하기 위한 과제를 다루기 위해.
• 정확도를 희생시키지 않은 채 세부 이미지 인식의 효율성을 향상시키기 위해.
• 장수열 정책 기울기 학습을 안정화시키기 위한 커리큘럼 학습과 중간 지도를 탐색하기 위해.
• 동적 계산 시간이 쉬운 예제에서는 더 빠른 추론을 가능하게 하고, 어려운 예제에서는 성능을 유지할 수 있는지 확인하기 위해.

제안 방법

• 각 시간 단계에서 추가적인 이진 행동(계속/정지)을 포함하여 표준 RAM 아키텍처를 확장하기 위해.
• 강화학습(REINFORCE)을 사용하여 주의 정책과 정지 정책을 동시에 최적화하기 위해.
• RAM의 사전 훈련 동안 최대 단계 수를 점진적으로 증가시켜 커리큘럼 학습을 적용하기 위해.
• 사전 훈련된 RAM 가중치로 DT-RAM을 초기화하고, 정책 기울기 방법을 사용하여 미세 조정하기 위해.
• 더 긴 시퀀스에 대한 훈련을 안정화시키기 위해 각 시간 단계에서 중간 지도를 도입하기 위해.
• 에이전트가 언제 주의를 멈출지를 결정하는 POMDP 설정에서 정책 기울기 방법을 사용하여 엔드 투 엔드로 훈련하기 위해.

실험 결과

연구 질문

• RQ1 재귀적 시각적 주의 모델은 입력 복잡도에 따라 추론 시간을 동적으로 조정할 수 있는가?
• RQ2 학습 가능한 정지 정책을 추가함으로써 정확도를 저하시키지 않고 계산 효율성을 향상시킬 수 있는가?
• RQ3 커리큘럼 학습과 중간 지도는 동적 추론을 위한 깊은 강화학습 정책 학습에 얼마나 효과적인가?
• RQ4 세부 분류에서 다양한 이미지 난이도 수준에 따라 정지 단계의 분포는 어떻게 달라지는가?
• RQ5 동적 계산 시간이 쉬운 입력에 대해 상당한 속도 향상을 이끌 수 있으며, 어려운 입력에 대해서는 성능을 유지할 수 있는가?

주요 결과

• DT-RAM은 CUB-200-2011 데이터셋에서 81.8%의 정확도를 달성하였으며, 이는 6단계로 설정된 표준 RAM과 동일한 성능이다.
• DT-RAM이 사용하는 평균 단계 수는 3.6이며, 이는 6단계로 설정된 RAM 대비 평균 계산 비용이 40% 감소한 것이다.
• Stanford Cars 데이터셋에서 DT-RAM은 최대 3단계로 설정했을 때도 81.8%의 정확도를 달성하였고, 평균 3.6단계를 사용하였다.
• CUB-200-2011에서 정지 단계의 분포는 쉬운 이미지가 종종 1~2단계 내에 분류되며, 더 어려운 이미지는 최대 6단계까지 필요로 함을 보여준다.
• 커리큘럼 학습을 사용하면 훈련 안정성이 향상되고, 더 많은 단계를 사용할수록 성능이 향상되며, 처음부터 훈련할 경우 관찰되는 성능 저하를 방지할 수 있다.
• 중간 지도를 도입하면 장기 시퀀스에 대해 성능 향상이 크게 이루어지며, 6단계를 사용할 경우 중간 지도 없이 훈련하면 정확도가 74.7%로 떨어진다.