[논문 리뷰] Inverse Problems, Deep Learning, and Symmetry Breaking

Kshitij Tayal, Chieh-Hsin Lai외 2명|arXiv (Cornell University)|2020. 03. 20.

Advanced X-ray Imaging Techniques참고 문헌 27인용 수 11

한 줄 요약

이 논문은 단일 출력에 대해 여러 입력이 매핑되는 고유 대칭성을 지닌 시스템(예: 위상 복원 및 블라인드 디컨볼루션)에서 역문제를 해결하기 위해 깊이 신경망을 훈련시키는 데 있어 발생하는 비유일성 문제에 대응한다. 이를 위해 등가류의 연결된 대표 집합을 사용한 데이터 증강을 통한 대칭성 깨기 기법을 제안하며, 기존의 엔드 투 엔드 훈련 방식에 비해 학습 효율성과 성능을 크게 향상시킨다.

ABSTRACT

In many physical systems, inputs related by intrinsic system symmetries are mapped to the same output. When inverting such systems, i.e., solving the associated inverse problems, there is no unique solution. This causes fundamental difficulties for deploying the emerging end-to-end deep learning approach. Using the generalized phase retrieval problem as an illustrative example, we show that careful symmetry breaking on the training data can help get rid of the difficulties and significantly improve the learning performance. We also extract and highlight the underlying mathematical principle of the proposed solution, which is directly applicable to other inverse problems.

연구 동기 및 목표

• 역문제에 대한 엔드 투 엔드 딥러닝에서 시스템의 대칭성이 비유일적 해를 유도하는 근본적 과제를 해결하기 위해.
• 모델 용량이나 하이퍼파rameter의 문제로 인한 딥러닝의 열악한 일반화가 아니라, 대칭성에 의해 유도되는 고주파 수학적 함수를 근사하는 데서 기인하는 문제임을 입증하기 위해.
• 역문제(예: 위상 복원)에서 학습 효율성과 성능을 향상시키기 위한 체계적인 대칭성 깨기 방법을 개발하고 검증하기 위해.
• 다양한 역문제에 적용 가능한 일반적인 수학적 원리—등가류에 대한 연결된 대표 집합을 찾는 것—을 규명하기 위해.

제안 방법

• 시스템의 대칭군에 따라 각 등가류에서 입력의 대표 집합을 구성함으로써 대칭성 깨기를 제안하며, 중복 없이 전체를 커버하도록 한다.
• 데이터 증강을 통해 네트워크를 이러한 대표 입력에서 훈련시킴으로써, 손실 곡면 내에서 대칭성에 기인한 디게너시를 효과적으로 제거한다.
• 관측치에서 입력으로의 사상 학습으로서 역문제를 공식화하며, 훈련 데이터는 등가류의 대표 샘플링을 통해 대칭성을 깨우도록 철저히 선별한다.
• 일반화된 위상 복원(실수 및 복소수 가우시안)에 대해 이 방법을 적용하며, 합성 및 통제된 데이터를 사용해 성능을 평가한다.
• 대칭성 깨짐 데이터에서 엔드 투 엔드로 훈련된 신경망 아키텍처를 사용하며, 기존 훈련 방식과 기준 방법과 비교한다.
• 미니배치 크기, 학습률, 정규화의 영향을 분석하여, 열악한 성능의 근본 원인이 하이퍼파rameter 선택이 아니라 대칭성에 기인한 진동 현상임을 규명한다.

실험 결과

연구 질문

• RQ1 대칭성이 내재된 역문제에서 충분한 데이터와 모델 용량을 가진 상태에서도 엔드 투 엔드 딥러닝이 일반화에 실패하는 이유는 무엇인가?
• RQ2 훈련 데이터에서의 대칭성 깨기가 위상 복원과 같은 역문제에서 학습 성능을 크게 향상시킬 수 있는가?
• RQ3 효과적인 역문제에서의 대칭성 깨기 가능성을 가능하게 하는 근본적인 수학적 원리는 무엇인가?
• RQ4 딥러닝의 성능 저하가 열악한 하이퍼파rameter 조정 때문인지, 아니면 대칭성에 기인한 고주파 함수 근사의 내재적 과제 때문인가?
• RQ5 제안된 대칭성 깨기 전략은 위상 복원을 넘어서 다른 역문제에 일반화될 수 있는가?

주요 결과

• 대칭성 깨짐 없이 훈련된 신경망은 일반화에 실패하며, 대규모 훈련 세트를 가진 상태에서도 단순 기준 방법보다 성능이 열 劣하다.
• 성능 열 劣는 학습률, 미니배치 크기, 정규화와 같은 최적화되지 않은 하이퍼파rameter 때문이 아니며, 이러한 요소들이 테스트 오차에 미치는 영향은 미미하다.
• 등가류의 대표 샘플링을 통한 대칭성 깨짐은 차원과 문제 유형에 관계없이 테스트 오차에서 뚜렷하고 일관된 향상을 이끌어낸다.
• 특히 대칭성에 기인한 고주파 진동이 가장 심각한 고차원 환경에서 표준 엔드 투 엔드 훈련에 비해 뛰어난 성능을 달성한다.
• 등가류에 대한 연결된 대표 집합을 찾는 원리는 다양한 대칭성을 지닌 역문제에 적용 가능한 일반적 프레임워크를 제공한다.
• 광범위한 실험을 통해 핵심 문제점은 자료 부족이나 최적화의 불안정성 때문이 아니라, 대칭성에 의해 유도되는 비유일성임을 확인한다.