[논문 리뷰] Sensing Theorems for Unsupervised Learning in Linear Inverse Problems

Julián Tachella, Dongdong Chen외 1명|arXiv (Cornell University)|2022. 03. 23.

Numerical methods in inverse problems인용 수 9

한 줄 요약

이 논문은 선형 역문제에서 비지도 학습을 위한 기본 감지 조건을 수립하며, 불완전한 측정값에서 저차원 신호 모델을 식별하기 위한 必要하고도 충분한 조건을 도출한다. 모델 식별 가능성은 서로 다른 영공간을 가진 다수의 측정 연산자 또는 군 불변성(예: 이동, 회전)을 통해 달성 가능하며, 이에 대한 경계는 학습 알고리즘의 선택과 무관하게 모델 차원과 군/연산자 구조에만 의존한다.

ABSTRACT

Solving an ill-posed linear inverse problem requires knowledge about the underlying signal model. In many applications, this model is a priori unknown and has to be learned from data. However, it is impossible to learn the model using observations obtained via a single incomplete measurement operator, as there is no information about the signal model in the nullspace of the operator, resulting in a chicken-and-egg problem: to learn the model we need reconstructed signals, but to reconstruct the signals we need to know the model. Two ways to overcome this limitation are using multiple measurement operators or assuming that the signal model is invariant to a certain group action. In this paper, we present necessary and sufficient sensing conditions for learning the signal model from measurement data alone which only depend on the dimension of the model and the number of operators or properties of the group action that the model is invariant to. As our results are agnostic of the learning algorithm, they shed light into the fundamental limitations of learning from incomplete data and have implications in a wide range set of practical algorithms, such as dictionary learning, matrix completion and deep neural networks.

연구 동기 및 목표

• 비지도 역문제에서의 근본적인 딱정-달걀 문제를 다루기: 모델 학습은 재구성된 신호가 필요하지만, 재구성은 모델가 필요하다.
• 지표 신호 없이도 불완전한 측정값만으로 저차원 신호 모델을 이론적으로 학습할 수 있는 조건을 규명하기.
• 모델 식별을 가능하게 하는 최소 감지 요구사항—다수의 측정 연산자 또는 군 불변성—을 규명하기.
• 딕셔너리 학습, 행렬 완성, 딥 러닝 등 다양한 방법에 모두 적용 가능한 알고리즘 독립적 이론적 경계를 제공하기.
• 등변 이미징과 다중 연산자 감지에 대한 이전의 경험적 발견들을 공통된 이론적 조건으로 통합 및 일반화하기.

제안 방법

• 신호 모델의 차원과 측정 연산자의 수 또는 군 작용 성질에 기반해, 신호 모델의 식별 가능성에 필요한 및 충분한 감지 조건을 유도하기.
• 측정 연산자의 영공간 구조를 이용해 측정값으로부터 신호 집합에 대한 정보가 복원 가능한지 판단하기.
• 변환 $ T_g $ 를 통한 가상의 측정 연산자 생성 방식으로 군 불변성을 도입하여, 단일 물리적 연산자로부터의 모델 학습 가능성을 높이기.
• 특히 $ \max_j c_j / s_j $ 를 사용한 군 작용의 기약 표현 기반 조건을 설정하기, 여기서 $ c_j $ 는 다중도이고 $ s_j $ 는 기약 표현의 차원이다.
• 합성 및 실제 데이터(예: 이동 및 반사 불변성과 함께 MNIST)를 활용해 실제 세계 설정에 적용하고, 비지도 및 지도 학습 방법을 비교하기.
• 압축 비율 $ m/n $ 가 변화하는 조건에서 U-Net 아키텍처를 사용하고 등변 학습 손실을 적용하여 성능 평가하고 이론적 경계를 경험적으로 검증하기.

실험 결과

연구 질문

• RQ1 지표 신호 없이 불완전한 측정값에서 저차원 신호 모델을 유일하게 식별할 수 있는 조건은 무엇인가?
• RQ2 서로 다른 영공간을 가진 다수의 측정 연산자를 사용할 경우, 신호 모델의 식별 가능성은 어떻게 영향을 받는가?
• RQ3 이동, 회전 등의 군 불변성은 단일 측정 연산자로부터의 모델 학습 가능성을 어느 정도 향상시키는가?
• RQ4 모델 식별을 위해 필요한 최소 측정 수는 무엇이며, 이는 신호 모델의 차원과 군 구조에 어떻게 의존하는가?
• RQ5 딕셔너리 학습이나 딥 이미지 재구성과 같은 비지도 학습 설정에서 이론적 경계와 경험적 성능는 어떻게 비교되는가?

주요 결과

• 이동 불변성 하에서 $ \max_j c_j / s_j = 1 $ 이고, 추측 10이 성립한다고 가정할 경우, 측정 수 $ m > 2k + 1 $ 이면 모델 식별 가능성이 보장된다. 여기서 $ k $ 는 신호 모델의 차원이다.
• 90도 회전과 반사의 군($ |\mathcal{G}| = 8 $)의 경우, 식별 가능성에 대한 충분조건은 $ m > 0.16n $ 이며, 순환 부분군의 $ m > 0.28n $ 보다 더 날카롭게, 더 풍부한 대칭성에 의해 성능 향상이 확인된다.
• 비지도 등변 방법은 $ m/n > 0.07 $ 일 때 지도 학습과 유사한 성능을 달성하지만, 비등변 비지도 방법은 완전히 실패하여 허위 역행렬로 수렴한다.
• $ 0.03 < m/n < 0.07 $ 의 영역에서는 지도 학습 방법이 비지도 등변 방법보다 우월하며, 이는 안정적인 모델 식별을 위해서는 유일성 이상의 측정 수가 필요하다는 것을 시사한다.
• 군 표현 이론을 통한 이론적 경계(특히 $ \max_j c_j / s_j $ 를 통한)는 경험적 성능을 정확히 예측하여 제안된 감지 정리의 타당성을 검증한다.
• 제안된 조건은 알고리즘 독립적이므로, 딕셔너리 학습, 행렬 완성, 딥 네트워크 등 모든 방법에 일반적으로 적용 가능하며, 불완전한 데이터로부터의 학습에 대한 기본 한계를 제공한다.