[논문 리뷰] Numerically Recovering the Critical Points of a Deep Linear Autoencoder

Charles G. Frye, Neha S. Wadia외 2명|arXiv (Cornell University)|2019. 01. 29.

Model Reduction and Neural Networks참고 문헌 21인용 수 5

한 줄 요약

이 논문은 지식이 있는 분석적 임계점이 있는 딥 라인어리 오토인코더에서 수치적 방법을 통해 임계점을 복원하는 것을 평가한다. 뉴턴 기반 방법이 경사 노름 최소화보다 우수하며, 정확한 복원을 위해 엄격한 수치적 허용오차(예: 1e-10)가 필수적임을 발견했다. 최적화 궤적 기반의 샘플링 방법은 낮은 손실을 가진 임계점 쪽으로 심각한 편향을 유도한다.

ABSTRACT

Numerically locating the critical points of non-convex surfaces is a long-standing problem central to many fields. Recently, the loss surfaces of deep neural networks have been explored to gain insight into outstanding questions in optimization, generalization, and network architecture design. However, the degree to which recently-proposed methods for numerically recovering critical points actually do so has not been thoroughly evaluated. In this paper, we examine this issue in a case for which the ground truth is known: the deep linear autoencoder. We investigate two sub-problems associated with numerical critical point identification: first, because of large parameter counts, it is infeasible to find all of the critical points for contemporary neural networks, necessitating sampling approaches whose characteristics are poorly understood; second, the numerical tolerance for accurately identifying a critical point is unknown, and conservative tolerances are difficult to satisfy. We first identify connections between recently-proposed methods and well-understood methods in other fields, including chemical physics, economics, and algebraic geometry. We find that several methods work well at recovering certain information about loss surfaces, but fail to take an unbiased sample of critical points. Furthermore, numerical tolerance must be very strict to ensure that numerically-identified critical points have similar properties to true analytical critical points. We also identify a recently-published Newton method for optimization that outperforms previous methods as a critical point-finding algorithm. We expect our results will guide future attempts to numerically study critical points in large nonlinear neural networks.

연구 동기 및 목표

• 지식이 있는 분석적 임계점이 있는 신경망 손실 표면에서 수치적 방법의 임계점 복원 정밀도를 평가하기 위해.
• 샘플링 전략이 임계점 복원의 편향에 미치는 영향을 평가하기 위해.
• 진정한 임계점을 식별하기 위한 적절한 수치적 허용오차를 결정하기 위해.
• 경사 노름 최소화, 트러스트 영역 뉴턴, 그리고 최신의 뉴턴-MR 방법 간의 성능을 비교하기 위해.
• 편향 없이 임계점을 샘플링하는 데 있어 기존 접근법의 한계를 이해하기 위해.

제안 방법

• 이 연구는 분석적으로 알려진 임계점을 가진 딥 라인어리 오토인코더를 수치 복원 방법 평가의 기준으로 사용한다.
• 세 가지 알고리즘을 시험: 경사 노름 최소화(GNM), 트러스트 영역 뉴턴, 최근에 제안된 뉴턴-MR 방법.
• 샘플링 전략은 최적화 반복 횟수 전체에 걸쳐 균일하게 샘플링하고, 궤적의 점들에 대해 균일하게 샘플링하며, 가우시안 노이즈를 추가하거나 추가하지 않음.
• 경사 노름에 대한 수치적 허용오차를 체계적으로 변화시키며, 정확한 복원을 위해 1e-10이 필수적임을 발견함.
• 고유벡터 투영의 엔트로피를 사용해 주로 영향을 받는 방향에 대한 샘플링 편향을 정량화함.
• 알고리즘 선택을 뒷받침하기 위해 화학 물리학, 대수기하학, 경제학 분야의 방법과 이론적 연결 고리를 설정함.

실험 결과

연구 질문

• RQ1 지식이 있는 기준값이 있는 딥 라인어리 오토인코더의 진정한 임계점을 수치적 방법이 얼마나 정확하게 복원하는가?
• RQ2 분석적 성질을 만족하는 임계점을 식별하기 위한 최적의 수치적 허용오차는 무엇인가?
• RQ3 최적화 궤적 기반의 샘플링 전략이 임계점 복원에 얼마나 심각한 편향을 유도하는가?
• RQ4 다른 최적화 알고리즘(GNM, 트러스트 영역 뉴턴, 뉴턴-MR) 간의 수렴 속도와 정확도는 어떻게 비교되는가?
• RQ5 샘플링 궤적에 노이즈를 추가하는 것이 왜 완전히 편향을 제거하지 못하며, 더 큰 노이즈가 왜 낮은 손실 임계점 쪽으로 편향을 증가시킬 수 있는가?

주요 결과

• 뉴턴-MR 방법이 수렴 속도와 월 타임 측면에서 경사 노름 최소화 및 트러스트 영역 뉴턴보다 뛰어났다.
• 경사 노름 최소화는 자주 국소 최소점에 갇히며, 수렴하기 위해 이전 기준(예: 1e-6)보다 두 개의 지수 단위 더 많은 반복을 요구했다.
• 진정한 임계점의 손실 및 인덱스 값을 정확히 복원하기 위해 1e-10의 엄격한 수치적 허용오차가 필요했으며, 이는 이전의 기준(예: 1e-6)을 초월했다.
• 최적화 반복 횟수 전체에 걸쳐 균일하게 샘플링하는 것은 주요 고유벡터에 투영되는 임계점 쪽으로 강한 편향을 유도했으며, 이는 엔트로피 감소(3.05비트 대 2.22비트)로 확인되었다.
• 가우시안 노이즈를 추가해도 편향이 완전히 제거되지 않았고, 일부 경우에서는 낮은 손실 임계점 쪽으로 편향이 증가했다.
• 이 연구는 현재의 샘플링 방법이 편향이 없지 않으며, 임계점의 비편향된 샘플을 확보하는 것은 여전히 열린 과제임을 확인했다.