[논문 리뷰] Biologically Inspired Feedforward Supervised Learning for Deep Self-Organizing Map Networks

Takashi Shinozaki|arXiv (Cornell University)|2017. 10. 26.

Neural Networks and Applications참고 문헌 10인용 수 4

한 줄 요약

이 논문은 오차 역전파 없이도 엔드 투 엔드 학습이 가능한 생물학적으로 영감을 받은 피드포워드 지도 학습 방법을 제안한다. 깊이 있는 자기조직화 지도 학습(Deep SOM) 네트워크에 적용되며, 올바른 레이블을 네트워크 출력과 연관시키는 피드포워드 지도 신호를 사용함으로써 강건하고 연속적인 표현 학습을 달성하고, MNIST 테스트 오차를 비지도 사전학습 후 66.5%에서 20회의 학습 반복 후 3.8%로 감소시킨다.

ABSTRACT

In this study, we propose a novel deep neural network and its supervised learning method that uses a feedforward supervisory signal. The method is inspired by the human visual system and performs human-like association-based learning without any backward error propagation. The feedforward supervisory signal that produces the correct result is preceded by the target signal and associates its confirmed label with the classification result of the target signal. It effectively uses a large amount of information from the feedforward signal, and forms a continuous and rich learning representation. The method is validated using visual recognition tasks on the MNIST handwritten dataset.

연구 동기 및 목표

• 오차 역전파를 피하는 생물학적으로 타당한 지도 학습 방법을 개발하기 위해.
• 오직 피드포워드 지도 신호만을 사용하여 효과적이고 분산형, 그리고 누적형 학습이 가능한 깊이 있는 아키텍처를 실현하기 위해.
• 신호의 시간적 배치와 구조를 통해 강화 학습과 경쟁적 학습을 통합된 프레임워크로 통합하기 위해.
• 초기 레이어에서의 풍부하고 연속적인 특징 표현을 활용하여 분류 성능을 향상시키기 위해.
• 최소한의 메모리 오버헤드로 MNIST 데이터셋을 사용하여 시각 인식 과제에서 방법을 검증하기 위해.

제안 방법

• 네트워크는 100개의 뉴런을 가진 자기조직화 지도 학습(SOM) 모듈을 깊이 있는 스택으로 구성하며, 비컨volutional 수용장역할을 하는 필드를 통해 계층적인 특징 추출 구조를 형성한다.
• 사전학습은 L2 정규화된 가중치를 사용하는 기존의 경쟁적 학습 방식을 통해 수행되며, 감소하는 학습률과 가우시안 이웃성 감쇠를 통해 정위적 조직화된 특징 맵을 형성한다.
• 새로운 피드포워드 지도 신호가 도입된다: 목표 입력 이전에 오는 '사전 입력'으로, 이는 올바른 레이블과 연관지어 지속적인 학습을 가능하게 하며 오차 역전파 없이도 가능하다.
• 수정된 헤비안 유사 규칙(AP 학습)을 사용하며, 올바른/틀린 신호가 전방으로 방출되고 각 로컬 모듈은 국소적 활성도와 전역 지도 신호에 기반해 가중치를 업데이트한다.
• 학습 규칙은 감쇠 계수(r)를 사용하여 레이어 간의 지도 신호 영향력을 제어하며, 학습 강도의 동적 조정을 가능하게 한다.
• 최종 레이어는 거리 감쇠 출력을 갖는 승자-타이즈-올(WSA)을 사용하며, 승자 뉴런과 그 이웃들이 승자 위치에서 가우시안 커널 감쇠에 따라 활성화된다.

실험 결과

연구 질문

• RQ1 피드포워드 지도 신호는 깊이 있는 자기조직화 네트워크에서 오차 역전파 없이 효과적인 학습을 가능하게 할 수 있는가?
• RQ2 지각 신호의 시간적 배치와 구조는 학습 효율성과 표현 품질에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 오차 역전파 없이도 시각 인식 과제에서 경쟁적인 성능을 달성할 수 있는가?
• RQ4 이 방법은 강화 학습과 경쟁적 학습을 단일 통합 프레임워크 내에서 얼마나 잘 통합할 수 있는가?
• RQ5 이 방법은 대규모 또는 온라인 응용에 적합한 누적형 및 분산형 학습을 지원하는가?

주요 결과

• 감쇠 계수 r = 0.7일 때, AP 학습 20회 반복 후 MNIST 테스트 오차율이 비지도 사전학습 후 66.5%에서 3.8%로 감소하였다.
• 감쇠 계수 r가 0으로 설정된 경우(상위 레이어에서 학습이 없음), 오차율은 22.5%로 높아졌으며, 이는 모든 레이어에서의 분산형 학습이 필수적임을 확인한다.
• 학습 과정은 최종 레이어의 표현을 재조직하여 더 희박하고 효율적인 표현으로 만들었으며, 학습 후에는 각 숫자 클래스에 대해 평균 10개의 대표 뉴런만 활성화되었다.
• AP 학습 후, 대표 뉴런의 최적 자극은 특히 숫자 '6'에 대해 더 일반화되고 구분력 있는 이미지 패턴으로 업데이트되었다.
• 이 방법은 단일 패assing 내에서 전층에 걸쳐 효과적인 피니팅을 달성하였으며, 계층별 사전학습이나 오차 역전파 없이도 가능했다.
• 이 방법은 국소적 업데이트와 전방향 신호 전파에 의존하므로 메모리 효율성이 매우 높으며, 분산 병렬 계산에 적합하다.