[논문 리뷰] Focus of Attention Improves Information Transfer in Visual Features

Matteo Tiezzi, Stefano Melacci외 3명|arXiv (Cornell University)|2020. 06. 16.

Visual Attention and Saliency Detection참고 문헌 30인용 수 4

한 줄 요약

이 논문은 시각적 스트림에서 상호정보량(MI)을 최대화하기 위해 인간과 유사한 주의 집중 메커니즘과 두 번째 차수 미분 방정식을 통합한 새로운 온라인 학습 프레임워크를 제안한다. 주의 기반 궤적을 통해 입력 데이터를 필터링함으로써, 균일하거나 무작위 샘플링과 비교해 집중 영역에서 특히 높은 정보 전송 성능을 달성한다. 이는 주의 지향 학습이 실시간 시각 처리에서 상호정보량 추정을 향상시킨다는 것을 보여준다.

ABSTRACT

Unsupervised learning from continuous visual streams is a challenging problem that cannot be naturally and efficiently managed in the classic batch-mode setting of computation. The information stream must be carefully processed accordingly to an appropriate spatio-temporal distribution of the visual data, while most approaches of learning commonly assume uniform probability density. In this paper we focus on unsupervised learning for transferring visual information in a truly online setting by using a computational model that is inspired to the principle of least action in physics. The maximization of the mutual information is carried out by a temporal process which yields online estimation of the entropy terms. The model, which is based on second-order differential equations, maximizes the information transfer from the input to a discrete space of symbols related to the visual features of the input, whose computation is supported by hidden neurons. In order to better structure the input probability distribution, we use a human-like focus of attention model that, coherently with the information maximization model, is also based on second-order differential equations. We provide experimental results to support the theory by showing that the spatio-temporal filtering induced by the focus of attention allows the system to globally transfer more information from the input stream over the focused areas and, in some contexts, over the whole frames with respect to the unfiltered case that yields uniform probability distributions.

연구 동기 및 목표

• 지속적인 시각적 스트림으로부터 비지도 온라인 학습을 수행할 때 배치 처리 방식이 부적절한 도전 과제를 해결하기 위해.
• 시간 동적 변화를 고려한 상호정보량 최대화를 통해 실시간에서의 정보 전달을 모델링하기 위해.
• 자극성과 운동에 의해 유도되는 인간과 유사한 주의 메커니즘이 시각 학습에서 정보 전달 효율성을 어떻게 향상시키는지 조사하기 위해.
• 온라인 상호정보량 최대화에서 엔트로피 추정을 위한 다양한 시간 기준(PLA, AVG, VAR)을 평가하기 위해.
• 주의 지향 학습이 균일한 샘플링과 무작위 샘플링에 비해 상호정보량 증가에 미치는 영향을 비교하기 위해.

제안 방법

• 프레임워크는 물리학의 최소 작용 원리를 기반으로 하여 주의 집중과 학습 역학을 모두 두 번째 차수 미분 방정식으로 모델링한다.
• 주의 집중은 중력장 내의 질량 분포로 모델링되며, 운동과 시각적 특징이 입력 프레임 상에서 주의의 궤적을 결정한다.
• 입력 시각적 특징과 출력 기호 표현 간의 상호정보량(MI)은 시간에 따른 엔트로피 항의 추정을 통해 온라인으로 최대화된다.
• 숨겨진 뉴런을 갖는 신경망 아키텍처를 사용하여 시각적 특징을 이산 기호로 매핑하고, 학습은 주의 궤적에 의해 구동된다.
• 시간 국소성 기준으로서 PLA(시간 국소성), AVG(이동 평균), VAR(분산 기반)의 세 가지 기준이 시간에 따른 엔트로피 변화를 근사하는 데 사용된다.
• 모델는 FOA(주의 집중) 궤적을 사용하여 훈련되고, 균일(UNI) 및 무작위 스캔패스(Rnd) 샘플링 전략과 비교된다.

실험 결과

연구 질문

• RQ1 균일하거나 무작위 샘플링과 비교해 인간과 유사한 주의 집중 메커니즘을 사용할 경우 온라인 시각 학습에서 정보 전달이 향상되는가?
• RQ2 다양한 시간 추정 전략(PLA, AVG, VAR)이 온라인 학습 중 상호정보량의 안정성과 증가에 어떻게 영향을 미치는가?
• RQ3 주의 지향 학습은 전체 프레임보다 집중 영역에서 상호정보량을 얼마나 향상시키는가?
• RQ4 두 번째 차수 미분 모델이 통합된 프레임워크에서 주의 역학과 학습 역학을 효과적으로 포괄할 수 있는가?
• RQ5 관측된 상호정보량 증가가 주의 모델 자체의 영향 때문인지, 단지 입력 차원 수의 감소 때문인가?

주요 결과

• FOA(주의 집중) 궤적은 균일(UNI) 및 무작위(Rnd) 샘플링보다 일관되게 더 높은 상호정보량(MI)을 제공하며, 특히 Carpark 및 SparseMNIST 데이터셋에서 두드러진다.
• Carpark 데이터셋에서 아키텍처 D를 사용할 경우 FOA 궤적을 통해 MI는 0.675에 도달했으며, UNI 기준인 0.422와 Rnd 기준인 0.489를 크게 상회한다.
• SparseMNIST 데이터셋에서는 아키텍처 D와 함께 AVG 기준을 사용한 FOA 기반 모델이 MI 0.486을 달성했으며, UNI 기준 0.112와 Rnd 기준 0.209를 뛰어넘었다.
• VAR(분산 기반) 시간 기준은 PLA 및 AVG와 비교해 더 빠른 수렴과 더 안정적인 MI 추정을 이끌었으며, PLA 및 AVG는 초반에 변동성이 있었다.
• 어떤 설정에서는 예를 들어 아키텍처 D를 사용한 Carpark 데이터셋에서 FOA 궤적은 UNI 분포보다 더 높은 MI를 생성했으며, 이는 주의 필터링이 전반적인 정보 전달을 향상시킨다는 것을 시사한다.
• 학습 역학을 분석한 결과, MI는 시간이 지남에 따라 안정화되며, 더 많은 스트림 데이터를 처리할수록 변동성이 감소하는 경향을 보였고, 특히 FOA 궤적을 사용할 경우 두드러졌다.