[논문 리뷰] Deep Networks with Internal Selective Attention through Feedback Connections

Marijn Stollenga, Jonathan Masci외 2명|arXiv (Cornell University)|2014. 07. 11.

Advanced Memory and Neural Computing참고 문헌 45인용 수 129

한 줄 요약

이 논문은 딥 러닝 아키텍처인 딥 어텐션 선택 네트워크(dasNet)를 제안하며, 피드백 연결을 도입하여 컨볼루션 신경망 내부의 선택적 주의를 가능하게 한다. 분리 가능한 자연 진화 전략(SNES)을 통한 강화 학습을 통해 dasNet은 다중 추론 단계 동안 필터 민감도를 동적으로 조절하며, CIFAR-10과 CIFAR-100에서 초기 잘못된 분류를 수정함으로써 분류 정확도를 향상시킨다. 이로 인해 기존의 순수 컨볼루션 신경망(CNN) 대비 6%의 상대적 향상으로 새로운 최고 성능(SOTA) 기록을 달성한다.

ABSTRACT

Traditional convolutional neural networks (CNN) are stationary and feedforward. They neither change their parameters during evaluation nor use feedback from higher to lower layers. Real brains, however, do. So does our Deep Attention Selective Network (dasNet) architecture. DasNets feedback structure can dynamically alter its convolutional filter sensitivities during classification. It harnesses the power of sequential processing to improve classification performance, by allowing the network to iteratively focus its internal attention on some of its convolutional filters. Feedback is trained through direct policy search in a huge million-dimensional parameter space, through scalable natural evolution strategies (SNES). On the CIFAR-10 and CIFAR-100 datasets, dasNet outperforms the previous state-of-the-art model.

연구 동기 및 목표

• 훈련 후에도 어려운 예제에서의 분류 성능을 향상시킬 수 있도록 행동을 적응시킬 수 있는 비정적 딥 신경망을 개발하는 것.
• 고차원 레이어에서 낮은 레이어로의 피드백 연결을 도입하여 딥 CNN 내부의 선택적 주의를 가능하게 하는 것.
• 고차원 파라미터 공간에서 확장 가능한 강화 학습을 통해 필터 조절을 위한 제어 정책을 학습하는 것.
• CIFAR-10과 CIFAR-100과 같은 도전적인 이미지 분류 벤치마크에서 표준 피드포워드 CNN을 능가하는 것.
• 피드백 기반 주의가 초기 순방향 전파에서 발생한 잘못된 분류를 반복적 개선을 통해 수정할 수 있음을 보여주는 것.

제안 방법

• 기반 모델로 드롭아웃를 적용한 Maxout 네트워크를 사용하여, 필터 출력의 맥스 풀링을 통해 강건한 특징 학습을 가능하게 한다.
• 고차원 레이어에서 저차원 레이어로의 피드백 연결을 도입하여, 추론 중에 컨볼루션 필터 활동을 상향식으로 조절할 수 있도록 한다.
• 다중 추론 단계 동안 어떤 필터를 강조하거나 억제할지 결정하기 위해 분리 가능한 자연 진화 전략(SNES)을 통해 제어 정책을 학습한다.
• 정책은 비미분 가능하고 고차원 공간(100만 개 이상의 파라미터)에 존재하므로, 기존의 백프로파게이션은 비현실적이며, 따라서 직접 정책 탐색을 위해 SNES를 사용한다.
• 같은 입력에 대해 다중 추론 단계를 수행하며, 정책에 따라 필터 가중치를 동적으로 조정함으로써 특징 표현의 반복적 개선을 가능하게 한다.
• 각 단계 후에 분류를 수행하며, 최종 예측은 활성화의 시퀀스에 기반하며, 정책은 정확한 클래스에 대한 신뢰도를 향상시키는 특징을 선호한다.

실험 결과

연구 질문

• RQ1 딥 CNN에서 피드백 연결이 어려운 예제의 분류 정확도를 향상시키는 내부 선택적 주의를 가능하게 할 수 있는가?
• RQ2 기울기 기반 방법 대신 진화 전략을 사용하여 고차원 제어 정책을 필터 조절에 효과적으로 학습할 수 있는가?
• RQ3 다중 추론 단계를 통한 반복적 개선이 초기 순방향 전파 후 잘못된 분류를 수정할 수 있는가?
• RQ4 학습된 주의 메커니즘이 레이어 간에 비균일하고 작업 관련 방식으로 필터 활동을 어떻게 변화시키는가?
• RQ5 정책으로부터 유도된 최종 게이트 값이 분류에 충분한 정보를 담고 있는가? 이는 주의의 효과적인 사용을 시사하는가?

주요 결과

• dasNet은 기준 기반의 순수 CNN 대비 CIFAR-10 데이터셋에서 6%의 상대적 정확도 향상을 달성했다.
• CIFAR-100에서는 이전의 최고 성능(SOTA) 모델을 능가하며 새로운 SOTA 결과를 수립했다.
• 초기 분류에서 고양이를 개로 잘못 분류한 것을, 고차원 레이어에서 관련 필터를 강조하고 다른 필터를 억제함으로써 네트워크가 성공적으로 수정하여 최종적으로 정확한 예측을 내놓았다.
• 분석 결과, 필터 조절은 단순한 전역 스케일링을 넘어서, 특정 특징 패턴의 강조와 억제를 포함하는 복잡하고 비균일한 방식이었다.
• 정책으로부터 유도된 최종 게이트 값은 상당한 예측 정보를 포함하였으며, 15-최근접 이웃법으로 40.70%의 정확도, 로지스틱 회귀로 45.74%의 정확도를 기록하여 그 기능적 관련성을 확인했다.
• 학습 기간을 초월하여 평가한 결과(최대 10단계까지)에서도 네트워크의 동역학이 안정되었으며, 이는 학습된 정책의 강건성을 시사한다.