[논문 리뷰] Attentive Recurrent Comparators

Pranav Shyam, Shubham Gupta외 1명|arXiv (Cornell University)|2017. 03. 02.

Neural dynamics and brain function참고 문헌 18인용 수 64

한 줄 요약

본 논문은 Attentive Recurrent Comparators (ARCs)를 제시한다. ARCs는 학습된 주의집중과 재귀를 통해 쌍으로 주어진 이미지를 반복적으로 관찰하여 동적 표현을 형성하고, 한샷 Omniglot 분류에서 최첨단 성능과 뛰어난 유사도 학습 성과를 달성한다.

ABSTRACT

Rapid learning requires flexible representations to quickly adopt to new evidence. We develop a novel class of models called Attentive Recurrent Comparators (ARCs) that form representations of objects by cycling through them and making observations. Using the representations extracted by ARCs, we develop a way of approximating a extit{dynamic representation space} and use it for one-shot learning. In the task of one-shot classification on the Omniglot dataset, we achieve the state of the art performance with an error rate of 1.5\%. This represents the first super-human result achieved for this task with a generic model that uses only pixel information.

연구 동기 및 목표

• 새로운 증거와 함께 진화하는 동적 표현으로 빠른 학습을 촉진한다.
• 두 객체 사이의 주의를 번갈아 가며 비교하는 미분가능한 ARC 모델을 제안한다.
• ARC가 컨볼루션 여부에 상관없이 유사성 작업에서 convnet과 대등하거나 이를 능가할 수 있음을 보여준다.
• 원샷 분류를 위한 고성능의 지연(lazy) 상대 표현 공간을 가능하게 함을 보여준다.

제안 방법

• 시퀀스의 각 시점에서 두 이미지 사이를 번갈아 가며 동작하는 RNN 컨트롤러와 미분가능한 주의 메커니즘으로 구성된 ARC를 도입한다.
• 이전 RNN 상태로부터 어텐션 글림스 매개변수를 계산하고, 현재 이미지의 영역에 주의를 기울여 G_t를 형성한 뒤 RNN 상태 h_t를 업데이트한다.
• 합성곱 특성 맵에 대해 주의를 적용하여 CNN 특징을 선택적으로 도입하는 ConvARC를 사용할 수 있다.
• 원샷 학습의 경우 테스트 샘플에 조건화된 상대적 표현 공간을 구축하고, Matching Networks와 유사한 Bi-LSTM 병합 및 소프트맥스 점수화를 사용하는 계층적 이중 수준 비교를 이용한다.
• Omniglot 및 CASIA WebFace와 같은 작업에서 유사도 혹은 분류 목표를 최적화하도록 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 ARCs가 시각적 유사성 작업을 위한 효과적인 동적, 컨텍스트-조건화 표현을 형성할 수 있는가?
• RQ2 Convolutional 특징이 있는 경우와 없는 경우의 ARCs가 검증 작업에서 Siamese 네트워크에 대해 경쟁적이거나 우수한 성능을 달성하는가?
• RQ3 테스트 샘플에 조건화된 느슨한(relative) 표현 공간이 최첨단의 한샷 분류를 지원하는가?
• RQ4 두 입력 간의 반복적 주의가 병렬 주의나 Siamese 스타일 융합에 비해 성능과 효율성 측면에서 어떤 차이를 보이는가?

주요 결과

Model	Accuracy (Test Set)
Siamese Network	60.52%
Deep Siamese Net (Koch et al.)	93.42%
Siamese ResNet (d=24, w=1)	93.47%
Siamese ResNet (d=30, w=2)	94.61%
Siamese ResNet (d=60, w=4)	93.57%
ARC	93.31%
ConvARC	96.10%
Across Alphabets - 4: Naive ARC	90.30%
Across Alphabets - 4: Naive ConvARC	96.21%
Across Alphabets - 4: Full Context ConvARC	97.5%

• ARC 기반 유사도 학습은 검증 작업에서 강력한 기준선과 동등하거나 그 이상이며 한샷 Omniglot에서 최첨단 성능을 달성한다.
• 합성곱이 없는 간단한 ARC도 Omniglot 검증에서 AlexNet급 성능에 필적할 수 있으며, 합성곱을 사용하는 ConvARC의 경우 Wide ResNet Siamese 기준선을 능가한다.
• ConvARC는 Omniglot 검증에서 알파벳별로 96.10%를 달성하고 같은 알파벳 내에서 97.5%를 달성하여 여러 이전 방법을 능가한다.
• CASIA WebFace 검증에서 ConvARC(81.73%)가 CNN 기준선(79.48%)을 능가한다.
• 원샷 Omniglot 결과: Naive ARC 90.30%, Naive ConvARC 96.21%, Full Context ConvARC 97.5% Across Alphabets; Within Alphabets: Naive ARC 91.75%, Naive ConvARC 97.75%, Full Context ConvARC 98.5%.
• miniImageNet 5-way 1-shot에서 Naive ConvARC가 49.14%를 기록하고 Full Context ConvARC가 그보다 더 높은 값을 달성한다. -- 주의: 표에 보고된 Naive ConvARC의 49.14%는 정확한 맥락에서 해석되어야 한다.