[논문 리뷰] Automatic Construction of Multi-layer Perceptron Network from Streaming Examples

Mahardhika Pratama, Choiru Za’in외 3명|arXiv (Cornell University)|2019. 10. 08.

Data Stream Mining Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 실시간 스트리밍 데이터에서 자기조직화된 딥 네ural 네트워크인 NADINE을 제안한다. NADINE은 다층퍼셉트론(MLP)의 구조를 자동으로 구성하고 진화시켜 실시간으로 작동하며, 편향-분산 추정을 통해 깊이와 너비를 동적으로 조정한다. 재난적 기억 상실을 방지하기 위해 적응형 메모리와 소프트 잊기 기법을 적용하며, 사용자 정의 기준값 없이 9개의 데이터 스트림 분류 및 회귀 과제에서 뛰어난 성능을 달성한다.

ABSTRACT

Autonomous construction of deep neural network (DNNs) is desired for data streams because it potentially offers two advantages: proper model's capacity and quick reaction to drift and shift. While the self-organizing mechanism of DNNs remains an open issue, this task is even more challenging to be developed for standard multi-layer DNNs than that using the different-depth structures, because the addition of a new layer results in information loss of previously trained knowledge. A Neural Network with Dynamically Evolved Capacity (NADINE) is proposed in this paper. NADINE features a fully open structure where its network structure, depth and width, can be automatically evolved from scratch in an online manner and without the use of problem-specific thresholds. NADINE is structured under a standard MLP architecture and the catastrophic forgetting issue during the hidden layer addition phase is resolved using the proposal of soft-forgetting and adaptive memory methods. The advantage of NADINE, namely elastic structure and online learning trait, is numerically validated using nine data stream classification and regression problems where it demonstrates performance improvement over prominent algorithms in all problems. In addition, it is capable of dealing with data stream regression and classification problems equally well.

연구 동기 및 목표

• 변화하는 네트워크 구조를 가진 데이터 스트림에서 자율적이고 점진적인 딥 러닝을 해결하기 위해.
• 특히 은닉층 추가 시 발생하는 표준 MLP에서의 재난적 기억 상실 문제를 해결하기 위해.
• 온라인 학습에서 문제에 특화된 기준값이나 고정된 네트워크 아키텍처에 의존하지 않기 위해.
• 비정상적인 데이터 스트림에서 분류 및 회귀 과제 모두에 대해 엔드 투 엔드 온라인 학습을 가능하게 하기 위해.
• 최소한의 인간 간섭으로 실시간으로 진화하는 완전히 개방적이고 재구성 가능한 DNN 아키텍처를 개발하기 위해.

제안 방법

• NADINE은 은닉 유닛 수준에서 편향과 분산을 추정하기 위해 네트워크 중요도(NS) 방법을 사용하여, 동적으로 유닛의 증식과 제거를 이끈다.
• 변화 탐지 메커니즘을 통해 네트워크 깊이의 수요에 따라 확장 또는 수축을 유도하는 구조적 변화를 트리거한다.
• 적응형 메모리 메커니즘은 각 레이어의 중요도를 추적함으로써 이전에 학습한 지식의 관련성을 유지한다.
• 소프트 잊기 메커니즘은 SGD 동안 각 레이어의 학습 민감도를 레이어 중요도에 따라 조정하여, 네트워크 구조 업데이트 시 재난적 기억 상실을 감소시킨다.
• 이 방법은 한 번의 통과 방식으로 작동하여 각 예측 예제를 한 번만 처리함으로써 스트리밍 데이터에 대한 확장성을 확보한다.
• 구조적 결정(유닛 추가, 제거, 깊이 변경)은 사전 정의된 기준값이 아닌 일반화 오차의 통계적 추정에 기반한다.

실험 결과

연구 질문

• RQ1 재난적 기억 상실 없이 온라인 학습 중 표준 MLP 아키텍처의 깊이와 너비를 자동으로 진화시킬 수 있는가?
• RQ2 표준 MLP에서 점진적인 구조적 변화 중 재난적 기억 상실을 효과적으로 완화할 수 있는가?
• RQ3 자기조직화된 DNN은 데이터 스트림에서 분류 및 회귀 과제 모두에서 높은 성능을 유지할 수 있는가?
• RQ4 문제에 특화된 기준값이 없는 것이 스트리밍 환경에서 일반화 능력과 적응 능력을 얼마나 향상시키는가?
• RQ5 적응형 메모리와 소프트 잊기 메커니즘이 구조적 진화 중 지식 유지에 기여하는 정도는 어떠한가?

주요 결과

• NADINE은 전순차적 테스트-그런 다음 학습 프로토콜에서 9개의 데이터 스트림 분류 및 회귀 문제 전반에서 주요 온라인 학습 알고리즘을 모두 압도한다.
• 제거 실험 결과, 유닛 증식 메커니즘을 제거하면 정확도가 85.85±10.41로 떨어지며, 이는 성능에 핵심적인 역할을 함을 시사한다.
• 소프트 잊기 메커니즘이 구조적 변화 중 성능 저하를 감소시키며, 비활성화 시 정확도가 86.23±11.63로 떨어진다.
• 적응형 메모리 메커니즘은 기여가 크며, 비활성화 시 평균 정확도가 89.35±6.79에서 88.24±7.32로 1.11% 감소한다.
• HEPMASS 데이터셋에서 NADINE는 평균 정확도 89.06±6.42를 달성하여 복잡한 고차원 데이터 스트림에서도 뛰어난 강건성을 보였다.
• 이 방법은 분류 과제와 회귀 과제 모두에서 동일한 수준의 성능을 유지하며, 어느 모달리티에서도 성능 저하가 없었다.