[논문 리뷰] Neural Networks Should Be Wide Enough to Learn Disconnected Decision Regions

Quynh Nguyen, Mahesh Chandra Mukkamala외 1명|arXiv (Cornell University)|2018. 02. 28.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 18

한 줄 요약

이 논문은 활성화 함수로 leaky ReLU와 같은 함수를 사용하는 피드포워드 신경망이 복잡한 실세계 데이터 분포를 모델링하기 위해 필요한 이산된 결합되지 않은 결정 영역을 학습하기 위해 입력 차원(d+1)보다 넓은 은닉층을 가져야 한다는 것을 보여준다. 핵심 결과는 너비 ≤ d인 피라미드형 네트워크가 본질적으로 연결된 결정 영역만 생성하므로, 이산된 영역을 가진 베이즈 최적 분류기를 표현할 능력이 제한됨을 시사한다.

ABSTRACT

In the recent literature the important role of depth in deep learning has been emphasized. In this paper we argue that sufficient width of a feedforward network is equally important by answering the simple question under which conditions the decision regions of a neural network are connected. It turns out that for a class of activation functions including leaky ReLU, neural networks having a pyramidal structure, that is no layer has more hidden units than the input dimension, produce necessarily connected decision regions. This implies that a sufficiently wide hidden layer is necessary to guarantee that the network can produce disconnected decision regions. We discuss the implications of this result for the construction of neural networks, in particular the relation to the problem of adversarial manipulation of classifiers.

연구 동기 및 목표

• 연속적인 활성화 함수를 갖는 피드포워드 신경망의 결정 영역의 위상적 성질을 조사하기 위해.
• 이산된 결정 영역을 표현할 수 있도록 필요한 최소 네트워크 너비를 규명하기 위해.
• 깊이만으로도 표현력이 보장된다는 가정을 도전하기 위해, 복잡한 결정 경계를 모델링하기 위해 너비가 깊이와 동등하게 중요함을 보여주기 위해.
• 이산된 결정 영역을 가능하게 하여 적대적 예제에 대한 강건성을 향상시키는 이론적이고 경험적 증거를 제공하기 위해.
• 최소한 하나의 은닉층이 입력 차원을 초월하는 뉴런을 가져야 한다는 필수 조건을 설정하여 네트워크 아키텍처 설계를 안내하기 위해.

제안 방법

• leaky ReLU 및 ReLU와 같은 활성화 함수에 초점을 맞춘 위상적 분석을 통한 결정 영역의 이론적 고찰.
• 모든 은닉층이 입력 차원 d 이하인 피라미드형 네트워크의 경우 결정 영역이 반드시 연결되어 있음을 증명.
• 너비가 정확히 d+1인 네트워크가 이산된 영역을 생성할 수 있음을 보여주는 명시적 반례를 제시하여 경계가 날카롭다는 것을 입증.
• 너비가 d를 초월할 경우에만 비연결된 결정 영역을 실현할 수 있도록, 가중치 행렬의 질서 조건을 활용.
• MNIST 및 합성 데이터에서의 적대적 경로 실험을 통한 경험적 검증으로, 같은 클래스의 이산된 영역을 연결하는 연속적인 경로가 존재함을 확인.
• 일단 단계 타겟 클래스 방법을 적용하여 이러한 경로 상의 지점들에서 고신뢰도 오분류가 발생하는 적대적 이미지를 생성함으로써, 경로 전반에 걸쳐 높은 신뢰도로 잘못 분류됨을 시연.

실험 결과

연구 질문

• RQ1 피드포워드 신경망이 어떤 조건에서 이산된 결정 영역을 생성할 수 있는가?
• RQ2 깊이와 무관하게, 이산된 결정 영역을 표현하기 위해 최소 너비 요구 조건이 존재하는가?
• RQ3 leaky ReLU나 ReLU 활성화 함수를 갖는 네트워크에서 은닉층의 너비가 결정 영역의 위상적 구조에 어떤 영향을 미치는가?
• RQ4 너비 ≤ d인 넓이가 좁은 네트워크는 결정 영역의 강제적 연결성으로 인해 적대적 예제에 본질적으로 취약한가?
• RQ5 이산된 결정 영역을 모델링할 수 있는 능력이 적대적 조작에 대한 강건성과 어느 정도 관련이 있는가?

주요 결과

• 입력 차원 d를 초과하지 않는 은닉층을 갖는 피라미드형 네트워크는 반드시 연결된 결정 영역만 생성한다.
• 은닉층 너비가 최소 d+1여야만 이산된 결정 영역을 표현할 수 있으며, 명시적 반례를 통해 이 경계가 날카롭다는 것이 입증된다.
• 너비 ≤ d인 네트워크는 심지어 훈련 오차가 0인 경우에도, 이산된 영역을 가진 베이즈 최적 분류기를 표현할 수 없다.
• MNIST 및 합성 데이터에서의 실험 결과, 같은 클래스의 이산된 영역을 연결하는 연속적인 경로가 존재하며, 모든 중간 지점에서 높은 신뢰도로 분류됨을 확인하여 적대적 공격에 취약함을 시사한다.
• 훈련 오차가 0이고 전체 질서를 가진 가중치 행렬을 갖더라도, 너비가 d(입력 차원과 동일)인 네트워크는 여전히 연결된 결정 영역을 생성하므로 이론적 경계가 확인된다.
• 이 결과는 leaky ReLU에 대해서는 성립하지만, 다른 기울기를 가진 일반적인 조각별 선형 활성화 함수로는 직접적으로 확장되지 않으며, 활성화 함수의 구조에 민감함을 보여준다.