[논문 리뷰] Deep Learning with Data Dependent Implicit Activation Function

Bao Wang, Xiyang Luo외 4명|arXiv (Cornell University)|2018. 02. 01.

Model Reduction and Neural Networks참고 문헌 26인용 수 6

한 줄 요약

이 논문은 부분 미분 방정식(PDE) 제어 이론의 원리를 활용하여 저데이터 환경에서 일반화 능력을 향상시키는 데이터에 의존하는 암묵적 활성화 함수를 제안한다. 이 방법은 모델 복잡도를 증가시키지 않고 CIFAR-10 및 CIFAR-100에서 상대 오차를 20–30% 감소시켜 기존의 딥 네ural 네트워크(DNN)에 즉각적인 업그레이드를 제공한다.

ABSTRACT

Though deep neural networks (DNNs) achieve remarkable performances in many artificial intelligence tasks, the lack of training instances remains a notorious challenge. As the network goes deeper, the generalization accuracy decays rapidly in the situation of lacking massive amounts of training data. In this paper, we propose novel deep neural network structures that can be inherited from all existing DNNs with almost the same level of complexity, and develop simple training algorithms. We show our paradigm successfully resolves the lack of data issue. Tests on the CIFAR10 and CIFAR100 image recognition datasets show that the new paradigm leads to 20$\%$ to $30\%$ relative error rate reduction compared to their base DNNs. The intuition of our algorithms for deep residual network stems from theories of the partial differential equation (PDE) control problems. Code will be made available.

연구 동기 및 목표

• 훈련 데이터가 제한된 경우 딥 네ural 네트워크의 일반화 능력이 떨어지는 문제를 해결한다.
• 데이터 부족 상황에서 네트워크 깊이가 증가함에 따라 정확도가 급격히 감소하는 문제를 극복한다.
• 기존 DNN의 복잡도를 유지하면서 데이터 부족에 대한 강건성을 향상시키는 훈련 프레임워크를 개발한다.
• 플러그인 메커니즘을 통해 기존의 딥 리서드 네트워크에 원활하게 통합할 수 있도록 한다.
• PDE 제어 문제에서 도출된 이론적 통찰을 활용해 새로운 데이터 적응형 활성화 메커니즘을 설계한다.

제안 방법

• 훈련 중 입력 데이터 분포에 따라 동적으로 조정되는 데이터에 의존하는 암묵적 활성화 함수를 제안한다.
• 네트워크 최적화를 이끄는 데 부분 미분 방정식(PDE) 제어 이론의 원리를 활용해 훈련 과정을 수립한다.
• 기존 DNN 아키텍처에 최소한의 수정으로 암묵적 활성화를 통합할 수 있는 단순하고 효율적인 훈련 알고리즘을 설계한다.
• 모델의 계산 복잡도를 표준 DNN과 동일하게 유지하여 직접 비교 및 구현이 가능하도록 보장한다.
• 성능 평가를 위해 깊이 있는 잔차 네트워크(ResNets)에 이 프레임워크를 적용한다.
• 활성화의 암묵적 성격을 활용해 명시적인 아키텍처 변경 없이도 훈련을 안정화하고 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 데이터에 의존하는 암묵적 활성화 함수는 데이터 부족 상황에서 딥 네ural 네트워크의 일반화 능력을 향상시킬 수 있는가?
• RQ2 PDE에 영감을 받은 훈련 프레임워크는 저데이터 이미지 인식 작업에서 성능을 어떻게 향상시키는가?
• RQ3 이 방법은 복잡도를 증가시키지 않고 기존 DNN 아키텍처에 얼마나 잘 통합될 수 있는가?
• RQ4 기본 DNN에 비해 CIFAR-10 및 CIFAR-100과 같은 표준 벤치마크에서 상대 오차 감소율은 어느 정도인가?
• RQ5 암묵적 활성화 메커니즘이 표준 명시적 활성화보다 더 안정적인 훈련과 더 나은 일반화를 이끌어내는가?

주요 결과

• 제안된 방법은 기존의 기본 DNN에 비해 CIFAR-10 및 CIFAR-100에서 상대 오차율을 20–30% 감소시킨다.
• 모델 복잡도를 증가시키지 않아 기존 네트워크에 즉각적인 플러그인 업그레이드로 활용할 수 있다.
• 이 방법은 데이터 부족 상황에서 일반적으로 관찰되는 깊이가 증가할수록 정확도가 감소하는 현상을 효과적으로 완화한다.
• 딥 리서드 네트워크에의 통합은 원활하며 동일한 계산 부하를 유지한다.
• PDE 기반의 훈련 프레임워크는 데이터 적응형 활성화 동역학을 통해 안정적인 최적화와 향상된 일반화 능력을 가능하게 한다.
• 이 방법의 코드는 재현성과 향후 연구를 지원하기 위해 공개될 예정이다.