[논문 리뷰] Geometrization of deep networks for the interpretability of deep learning systems

Xiao Dong, Ling Zhou|arXiv (Cornell University)|2019. 01. 06.

Human Pose and Action Recognition참고 문헌 38인용 수 7

한 줄 요약

이 논문은 딥러닝 시스템을 기하학적 틀로 재구성하여, 깊은 네트워크를 다양체 위의 연속적인 기하학적 흐름으로 모델링함으로써 해석 가능성성을 향상시키는 방법을 제안한다. 물리학—특히 영상 정렬, 양자 계산, 일반 상대성 이론과의 유사성에 기반하여, 깊은 네트워크가 파라미터 공간의 피셔-레오 메트릭으로 정의된 리만 다양체에서 지측선으로 이해될 수 있음을 보여주며, 이는 그 성공성과 일반화 능력에 대한 기하학적 기초를 제공한다.

ABSTRACT

How to understand deep learning systems remains an open problem. In this paper we propose that the answer may lie in the geometrization of deep networks. Geometrization is a bridge to connect physics, geometry, deep network and quantum computation and this may result in a new scheme to reveal the rule of the physical world. By comparing the geometry of image matching and deep networks, we show that geometrization of deep networks can be used to understand existing deep learning systems and it may also help to solve the interpretability problem of deep learning systems.

연구 동기 및 목표

• 해석 가능성의 격차를 해소하기 위해 통합된 기하학적 틀을 제안하기 위해.
• 딥 네트워크를 영상 정렬이나 양자 진동과 같은 물리적 과정과 유사한 연속적인 기하학적 흐름으로 정의하기 위해.
• 곡률과 피브어 번들 같은 기하학적 구조가 일반화, 적대적 예제, 과다 매개변수화를 어떻게 설명할 수 있는지 탐구하기 위해.
• 기하학이 최적화, 제어, 그리고 의식에 어떻게 기여하는지, 결합된 딥 네트워크를 통해 탐구하기 위해.
• 계산 복잡도 기반의 최소작용 원리에 기반해 딥러닝을 기본 물리법칙과 통합하기 위해.

제안 방법

• 딥 네트워크를 다양체 위의 연속 시간 흐름 $ g_t $ 로 모델링하며, $ g_0 = \text{Id} $, $ g_1 = g $ 로 정의하여 전체 변환을 표현한다.
• 피셔-레오 메트릭을 사용해 네트워크 파라미터 공간에 리만 기하학을 정의함으로써 최적화 경로의 지측선 해석이 가능하도록 한다.
• 딥 네트워크와 물리 시스템 간의 유사성을 도입: 영상 정렬(지측선 흐름), 텐서 네트워크(얽힘), AdS/CFT 대칭성.
• 학습을 곡률이 있는 다양체에서의 지측선 문제로 공식화하며, 손실 최소화가 계산 복잡도 최소화에 해당함을 보여준다.
• 양자 계산과 해밀토니안 역학의 개념을 적용해 네트워크 진동을 기하학적 환경에서 유니타리 연산으로 모델링한다.
• 의식과 같은 고차원 기하학적 구조로 독립적인 결합 시스템(예: 의식)을 도입하며, 피브어 번들을 통해 다수의 네트워크를 연결한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 리만 다양체에서 기하학적 흐름으로 어떻게 해석될 수 있으며, 이는 일반화에 어떤 함의를 갖는가?
• RQ2 딥 네트워크에서 나타나는 피셔-레오 메트릭의 곡률은 무엇이며, 이는 적대적 내성성과 어떻게 관련되는가?
• RQ3 강화 학습과 모방 학습은 학습된 메트릭을 사용해 기하학적 최적화 문제로 재구성할 수 있는가?
• RQ4 과다 매개변수화는 파라미터 공간의 기하학에 어떤 영향을 미치며, 훈련 안정성에서 어떤 역할을 하는가?
• RQ5 다중 딥 네트워크의 결합은 피브어 번들과 같은 기하학적 구조로 모델링될 수 있으며, 이는 의식과 관련이 있을 수 있는가?

주요 결과

• 딥 네트워크는 피셔-레오 메트릭으로 정의된 리만 다양체에서 지측선 흐름으로 모델링될 수 있으며, 이는 최적화 경로가 최소 계산 복잡도에 해당함을 시사한다.
• 컨volutional 네트워크(CNN)의 기하학적 구조는 음의 곡률을 띌 수 있으며, 이는 MERA와 AdS/CFT에 유사하여 적대적 예제의 존재를 설명할 수 있다.
• 과다 매개변수화는 변환을 더 높은 차원의 군 $ G $ 에 통합하는 것으로 해석되며, 이는 최적화의 유연성과 안정성 향상에 기여할 수 있다.
• 영상 정렬과 딥 네트워크는 둘 다 메트릭 공간에서 경로 길이를 최소화하는 최적 제어 문제로서 공통된 기하학적 구조를 공유한다.
• 다중 딥 네트워크의 결합은 독립된 잠재 공간을 가진 피브어 번들과 같이 모델링될 수 있으며, 이는 의식과 같은 복잡한 현상의 기하학적 기원을 시사한다.
• 이 틀은 딥 네트워크의 기하학적 구조와 우주의 정보 패턴 간의 대응에 기반해 물리 법칙이 유도된다는 것을 시사하며, 계산 복잡도 기반의 최소작용 원리와 일관된다.