[논문 리뷰] Progressive Operational Perceptron with Memory

Dat Thanh Tran, Serkan Kıranyaz외 2명|arXiv (Cornell University)|2018. 08. 20.

Neural Networks and Applications참고 문헌 33인용 수 16

한 줄 요약

이 논문은 일반화된 운영 퍼셉트론(GOP) 네트워크의 학습을 가속화하기 위해 계산 복잡도를 감소시킨 효율적인 프로그레시브 운영 퍼셉트론(POP)의 변종인 POPfast를 제안한다. 메모리 강화 아키텍처인 POPmem-H와 POPmem-O를 도입하여 이전 레이어의 정보를 유지하는 선형 투영 경로를 제공함으로써 더 깊고 더 구분력 있는 표현을 가능하게 하고, 행동, 물체, 얼굴 신원, 환경 인식 작업에서 POP 및 기타 기준 모델보다 뛰어난 성능을 달성한다.

ABSTRACT

Generalized Operational Perceptron (GOP) was proposed to generalize the linear neuron model in the traditional Multilayer Perceptron (MLP) and this model can mimic the synaptic connections of the biological neurons that have nonlinear neurochemical behaviours. Progressive Operational Perceptron (POP) is a multilayer network composing of GOPs which is formed layer-wise progressively. In this work, we propose major modifications that can accelerate as well as augment the progressive learning procedure of POP by incorporating an information-preserving, linear projection path from the input to the output layer at each progressive step. The proposed extensions can be interpreted as a mechanism that provides direct information extracted from the previously learned layers to the network, hence the term "memory". This allows the network to learn deeper architectures with better data representations. An extensive set of experiments show that the proposed modifications can surpass the learning capability of the original POPs and other related algorithms.

연구 동기 및 목표

• 원래의 프로그레시브 운영 퍼셉트론(POP) 알고리즘의 높은 계산 복잡도를 줄여 GOP 네트워크 학습에 기여하기 위해.
• 이전에 학습된 레이어의 정보를 유지하는 메모리 메커니즘을 통합하여 프로그레시브 학습을 향상시키기 위해.
• 아키텍처 확장 기법을 통해 더 깊은 GOP 네트워크를 학습시켜 개선된 데이터 표현을 가능하게 하기 위해.
• 제안된 알고리즘의 성능을 인간 행동, 물체, 얼굴 신원, 환경 인식과 같은 다양한 인식 작업에서 평가하기 위해.

제안 방법

• 계산 복잡도를 줄여 POP보다 더 효율적인 GOP 네트워크 학습 절차인 POPfast를 제안하며, 연산자 집합 탐색 최적화 및 계층별 학습을 단순화한다.
• 두 가지 아키텍처 확장 기법인 POPmem-H와 POPmem-O를 도입하여 각 프로그레시브 단계에서 입력에서 출력 레이어까지의 선형 투영 경로를 통합하여 이전 정보를 유지한다.
• 단일 은닉층 네트워크(SHLN)를 학습하기 위해 이중 패assing 일반화 정보 탐색(GIS) 알고리즘을 사용하며, 은닉층과 출력층의 연산자 집합을 반복적으로 최적화한다.
• 노드 연산자(예: 곱셈, 지수, 조화), 풀링 연산자(예: 합산, 상관관계, 최대값), 활성화 함수(예: 시그모이드, ReLU, tanh)를 포함한 연산자 라이브러리를 사용한다.
• PCA 또는 LDA를 통한 선형 메모리 경로를 적용하여 이전 레이어의 특징을 투영함으로써 은닉층과 출력층이 이전 지식에 접근할 수 있도록 한다.
• 각 새로운 레이어가 이전 레이어의 정보를 유지하고 통합하면서 점진적으로 계층별로 네트워크를 구축하는 전략을 사용한다.

실험 결과

연구 질문

• RQ1 GOP 네트워크에서 학습 성능을 손상시키지 않으면서 POP의 계산 복잡도를 크게 줄일 수 있는가?
• RQ2 이전 레이어의 정보를 유지하는 메모리 경로를 통합할 경우, GOP 네트워크에서 프로그레시브 학습의 표현 품질과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 제안된 메모리 메커니즘이 표준 POP보다 더 깊은 GOP 네트워크에서 개선된 특징 학습을 가능하게 하는가?
• RQ4 다양한 메모리 투영 기법(PCA 대 LDA)이 확장된 POPfast 프레임워크에서 성능과 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• POPfast는 모든 테스트 데이터셋에서 원래의 POP 알고리즘보다 훨씬 빠른 학습 시간을 달성하면서도 분류 정확도를 유지하거나 향상시킨다.
• 직교 투영 메모리를 사용하는 POPmem-O 버전이 POPfast 및 기타 기준 모델보다 뛰어난 성능을 보이며, Caltech256 및 CFW60K 데이터셋 모두에서 최고 성능을 기록한다.
• 메모리 강화 버전인 POPmem-O와 POPmem-H는 항상 POPfast를 능가하며, 보완적인 표현을 명시적으로 학습함으로써 특징 품질 향상이 가능함을 입증한다.
• 은닉층과 출력층이 모두 메모리에 접근할 수 있도록 허용하는 POPmem-O 아키텍처가, 오직 은닉층만 이전 정보에 접근할 수 있는 POPmem-H보다 뛰어난 성능을 보인다.
• POPmem-O의 네트워크 구조를 템플릿으로 사용하더라도, 단지 GOP만을 사용하는 POPfast*는 POPmem-O에 뒤지며, 이는 비선형 GOP와 선형 메모리 뉴런의 조합이 더 효과적임을 증명한다.
• 퍼셉트론 기반 기준 모델(S-ELM, BLS, PLN)은 더 빠르지만 정확도가 떨어지며, 네트워크 깊이가 증가할수록 PLN은 POPfast*에 뒤지게 되어 GOP 기반 학습에 메모리 기반 접근 방식의 우수성을 입증한다.