[논문 리뷰] Multilayer Perceptron Algebra

Peng Zhao|arXiv (Cornell University)|2017. 01. 18.

Neural Networks and Applications참고 문헌 4인용 수 3

한 줄 요약

이 논문은 다층 퍼셉트론(MLP) 신경망을 체계적으로 설계하고 조합할 수 있도록 해주는 수학적 프레임워크인 MLP 대수를 소개한다. 이 프레임워크는 합, 곱, 보수, 구성 요소 분해와 같은 대수 연산을 통해 작동한다. MLP를 대수적 객체로 간주함으로써, 분해된 데이터에서 훈련된 더 단순하고 과업에 특화된 하위망들로부터 복잡한 네트워크를 조립할 수 있으며, 정확도를 유지하면서도 네트워크 아키텍처 설계에 체계적인 원칙을 제공한다.

ABSTRACT

Artificial Neural Networks(ANN) has been phenomenally successful on various pattern recognition tasks. However, the design of neural networks rely heavily on the experience and intuitions of individual developers. In this article, the author introduces a mathematical structure called MLP algebra on the set of all Multilayer Perceptron Neural Networks(MLP), which can serve as a guiding principle to build MLPs accommodating to the particular data sets, and to build complex MLPs from simpler ones.

연구 동기 및 목표

• 현재 신경망 설계가 직관과 경험에 크게 의존하고 있음에도 불구하고, 이를 체계적인 원칙이 부족한 점을 해결하기 위해.
• 간단하고 과업에 특화된 네트워크들로부터 복잡한 MLP를 구성할 수 있도록 하는 형식적인 수학적 구조—MLP 대수—를 개발하기 위해.
• 원래 데이터 서브셋에서의 분류 성능를 유지하면서도 신경망을 조합하거나 분해하는 데 명시적인 대수 연산을 제공하기 위해.
• 서로 겹치지 않는 또는 레이블이 부여된 서브셋에서 훈련된 네트워크들을 통합하여 하나의 통합된 정확한 분류기로 만드는 데 이론적 기반을 제공하기 위해.
• 데이터의 기하학적 및 구조적 성질이 대수 연산을 통해 네트워크 조합을 이끌 수 있는 방법을 탐색하기 위해.

제안 방법

• 네트워크 출력을 뒤집어, 논리적 부정 결과를 가능하게 하는 보완망(Complementary Net) 연산을 정의한다.
• 입력층과 출력층이 동일한 두 개의 MLP를 합치기 위해, 은닉층을 카르테시안 곱으로 연결하는 합망(Sum Net) 연산을 도입한다.
• 서로 겹치지 않는 데이터 서브셋에서 훈련된 네트워크를 조합하기 위해 블록 대각 행렬을 사용하는 I-곱망(I-Product Net)을 제안한다.
• 다중 레이블 분류기로의 통합을 위해 출력층을 직접 합으로 사용하는 O-곱망(O-Product Net)을 도입한다.
• 다중 출력 네트워크를 각 레이블에 해당하는 개별 단일 출력 분류기들로 분해할 수 있도록 구성망(Component Net)을 정의한다.
• 깊이가 다른 네트워크들을 일치시키기 위해 ReLU 활성화 함수를 사용한 항등층을 추가하는 동일 확장(Identical Extension, β)을 도입하여, 다양한 아키텍처 간의 일관된 조합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 분해된 데이터에서 훈련된 더 단순하고 과업에 특화된 하위망들로부터 신경망을 어떻게 체계적으로 조합할 수 있는가?
• RQ2 서로 겹치지 않는 또는 레이블이 부여된 데이터 서브셋에서 훈련된 네트워크를 조합할 때, 어떤 대수 연산이 분류 정확도를 유지하는가?
• RQ3 합, 곱, 보수와 같은 대수 연산이 가능한, 체계적인 수학적 구조를 정의할 수 있는가? 이는 대수적 체와 유사하다.
• RQ4 깊이가 다른 네트워크들(예: 서로 다른 깊이)을 대수 규칙을 사용해 어떻게 일관되게 조합할 수 있는가?
• RQ5 데이터 분해(예: 연결 성분 또는 레이블 기반)가 MLP 대수를 통한 효과적인 네트워크 조합을 어떻게 가능하게 하는가?

주요 결과

• MLP 대수 프레임워크는 서로 겹치지 않는 또는 레이블이 부여된 서브셋에서 훈련된 하위망들을 통합함으로써, 통합된 데이터셋에서 높은 분류 정확도를 유지하는 단일 통합 신경망을 구성할 수 있다.
• 합망(Sum Net) 연산은 데이터셋의 서로 다른 연결 성분에서 훈련된 두 개의 네트워크를 성공적으로 조합하며, 각 성분에서의 성능를 유지한다.
• O-곱망(O-Product Net) 연산은 여러 개의 단일 레이블 분류기를 하나의 다중 레이블 네트워크로 통합할 수 있으며, 출력층은 개별 레이블 출력의 직접 합으로 표현된다.
• 구성망(Component Net) 연산은 다중 출력 네트워크를 각각 하나의 레이블에 해당하는 개별 단일 출력 분류기들로 분해할 수 있으며, 이는 모듈러한 훈련과 분석을 가능하게 한다.
• 동일 확장(β) 연산은 ReLU 활성화 함수를 사용한 항등층을 추가함으로써 깊이가 다른 네트워크들을 일관되게 조합할 수 있도록 하며, 층 구조의 호환성을 보장한다.
• 이론은 복잡한 네트워크를 단순한 네트워크들로부터 대수 연산을 통해 체계적으로 구축할 수 있음을 보여주며, 히ュ리스틱 설계에 대한 원칙적인 대안을 제공한다.