[논문 리뷰] Semantic uncertainty intervals for disentangled latent spaces

Swami Sankaranarayanan, Anastasios N. Angelopoulos외 3명|arXiv (Cornell University)|2022. 07. 20.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 생성 모델의 분리된 잠재 공간에서 통계적으로 보장되는, 의미적으로 의미 있는 불확실성 구간을 생성하는 방법을 제안한다. 분위수 회귀와 위험 제어 캘리브레이션을 조합함으로써, 모발 색상이나 물체 위치와 같은 의미적 요소에 대해 인스턴스 적응형 불확실성 구간을 생성하며, 이는 진짜 값이 높은 확률로 포함되도록 보장한다. 이를 통해 초해상도나 인painting과 같은 이미지 복원 작업에서 해석 가능한 불확실성 시각화를 가능하게 한다.

ABSTRACT

Meaningful uncertainty quantification in computer vision requires reasoning about semantic information -- say, the hair color of the person in a photo or the location of a car on the street. To this end, recent breakthroughs in generative modeling allow us to represent semantic information in disentangled latent spaces, but providing uncertainties on the semantic latent variables has remained challenging. In this work, we provide principled uncertainty intervals that are guaranteed to contain the true semantic factors for any underlying generative model. The method does the following: (1) it uses quantile regression to output a heuristic uncertainty interval for each element in the latent space (2) calibrates these uncertainties such that they contain the true value of the latent for a new, unseen input. The endpoints of these calibrated intervals can then be propagated through the generator to produce interpretable uncertainty visualizations for each semantic factor. This technique reliably communicates semantically meaningful, principled, and instance-adaptive uncertainty in inverse problems like image super-resolution and image completion.

연구 동기 및 목표

• 초해상도 및 이미지 완성과 같은 이미지 값 추정 문제에서 원칙적이고 의미적으로 의미 있는 불확실성 측정의 부족을 해결하기 위해.
• 모발 색상이나 물체 위치와 같은 의미적 요소에 대해 진짜 의미적 불확실성을 반영하는 분리된 잠재 인자에 대한 불확실성 구간을 제공하기 위해.
• 이 구간들이 진짜 잠재 인자 값이 포함될 확률이 높은 통계적 유효성을 확보하고, 기저 데이터 분포나 모델 아키텍처에 관계없이 보장하기 위해.
• 생성기로 통과시킨 캘리브레이션된 잠재 구간을 통해 이미지 공간에서 불확실성의 해석 가능한 시각화를 가능하게 하기 위해.
• 특히 분리된 표현을 가진 GAN에 대해, 분포 자유 불확실성 측정 기법을 생성 모델의 잠재 공간으로 확장하기 위해.

제안 방법

• 입력 이미지가 주어졌을 때, 의미적 요소당 세 가지 출력(점 추정치, 하한 조건부 분위수, 상한 조건부 분위수)을 예측하는 신경망 인코더를 훈련한다.
• 잠재 공간에서 예측 구간을 추정하기 위해 분위수 회귀를 사용하며, 이는 입력 조건에 따라 의미적 요소의 분포를 모델링한다.
• 사용자가 지정한 확률(1−α)로 진짜 잠재 값이 포함되도록 하기 위해, 분위수 추정치를 조정하는 위험 제어 캘리브레이션 절차를 적용한다.
• 분포에 대한 가정 없이, 교환 가능성 하에 근사 커버리지 보장을 확보하기 위해 별도의 캘리브레이션 데이터셋을 사용하여 구간을 캘리브레이션한다.
• 캘리브레이션된 하한 및 상한 구간 끝점을 생성기로 전파하며, 나머지 모든 잠재 차원은 점 추정치로 고정함으로써 이미지 공간에서 불확실성의 시각화를 수행한다.
• 보장된 커버리지 확률이 높은 $1-\alpha$ 비율을 갖는 불확실성 집합을 $ \mathcal{T}(X)_d = [q^{\text{cal}}_{\alpha/2}(X)_d, q^{\text{cal}}_{1-\alpha/2}(X)_d] $ 로 정의한다.

실험 결과

연구 질문

• RQ1 분리된 잠재 공간에서 의미적 요소에 대해 통계적으로 타당하고 이미지 공간에서 해석 가능한 불확실성 구간을 생성할 수 있는가?
• RQ2 유한 표본 조건 하에서도 불확실성 구간이 진짜 값을 높은 확률로 포함하도록 보장할 수 있는가?
• RQ3 원래 예측 출력을 위해 설계된 분포 자유 불확실성 측정 기법을 생성 모델의 잠재 공간으로 적응시킬 수 있는가?
• RQ4 캘리브레이션된 불확실성 구간이 초해상도나 인painting과 같은 역이미지 문제에서 해석 가능성과 신뢰도를 얼마나 향상시킬 수 있는가?
• RQ5 캘리브레이션 및 테스트 세트 간 데이터 분포가 변화할 경우, 불확실성 캘리브레이션이 유지되는가?

주요 결과

• 제안된 방법은 최소한의 가정 하에, 진짜 의미적 요소 값이 높은 확률로 포함되는 분리된 잠재 공간에서 통계적으로 보장되는 불확실성 구간을 생성한다.
• 캘리브레이션된 구간은 초기 분위수 추정치가 잘 캘리브레이션되지 않았더라도, 모든 의미적 요소에서 원하는 커버리지 비율(1−α)을 달성한다.
• 캘리브레이션된 구간 끝점을 생성기로 전파함으로써, 직접적으로 이미지 공간에서 의미적으로 이해 가능한 불확실성 시각화를 생성한다.
• 잠재 공간이 분리되어 있고 캘리브레이션 데이터가 테스트 분포를 대표한다면, 인코더와 생성 모델의 선택에 대해 강건하다.
• 실험 결과, 모델이 불확실할 때(예: 저신뢰도 이미지 복원 영역에서) 불확실성 구간이 커지는 경향을 보이며, 이는 인스턴스 적응형 불확실성임을 보여준다.
• 이 방법은 모델의 예측을 수정하지 않으며, 통계적으로 엄밀한 불확실성 레이어를 추가하므로, 안전이 중요한 응용 분야에 적합하다.