[논문 리뷰] Modeling Uncertainty with Hedged Instance Embedding

Seong Joon Oh, Kevin Murphy외 4명|arXiv (Cornell University)|2018. 09. 30.

AI in cancer detection참고 문헌 25인용 수 35

한 줄 요약

이 논문은 이미지 임베딩을 확률 분포로 모델링하여 입력 불확실성(예: 가림, 흐림 등)을 포착하는 스토하스틱 방법인 Hedged Instance Embedding(HIB)을 제안한다. 확률 질량이 유의미한 잠재 공간 영역에 분포함으로써 불확실성을 표현하며, 변동 정보 복도(VIB)와 학습 가능한 마진을 가진 소프트 대비 손실을 통해 훈련된다. HIB는 모호한 입력에서의 추론 및 확인 성능을 향상시키고, 각 예제에 대한 불확실성 측정값을 제공하여 작업 정확도와 상관관계를 가진다.

ABSTRACT

Instance embeddings are an efficient and versatile image representation that facilitates applications like recognition, verification, retrieval, and clustering. Many metric learning methods represent the input as a single point in the embedding space. Often the distance between points is used as a proxy for match confidence. However, this can fail to represent uncertainty arising when the input is ambiguous, e.g., due to occlusion or blurriness. This work addresses this issue and explicitly models the uncertainty by hedging the location of each input in the embedding space. We introduce the hedged instance embedding (HIB) in which embeddings are modeled as random variables and the model is trained under the variational information bottleneck principle. Empirical results on our new N-digit MNIST dataset show that our method leads to the desired behavior of hedging its bets across the embedding space upon encountering ambiguous inputs. This results in improved performance for image matching and classification tasks, more structure in the learned embedding space, and an ability to compute a per-exemplar uncertainty measure that is correlated with downstream performance.

연구 동기 및 목표

• 가림되거나 흐릿한 이미지와 같은 모호한 입력으로부터 기인하는 애로타릭 불확실성(aleatoric uncertainty)을 표현하는 결정론적 인스턴스 임베딩의 한계를 해결하기 위해.
• 임베딩을 랜덤 변수로 간주함으로써 임베딩 공간에서 불확실성을 명시적으로 모델링하는 방법을 개발하기 위해.
• 특히 손상되거나 모호한 입력에서 이미지 매칭 및 분류 작업 성능을 향상시키기 위해.
• 하류 작업 성능과 상관관계가 있는 신뢰할 수 있는 각 예제별 불확실성 측정값을 제공하기 위해.

제안 방법

• Hedged Instance Embedding(HIB)는 각 이미지 임베딩을 랜덤 변수 Z ~ p(z|x)로 모델링하며, 불확실성은 잠재 공간 상의 확률 분포로 표현된다.
• 이 방법은 스토하스틱 임베딩의 엔드 투 엔드 학습을 가능하게 하는 변동 정보 복도(VIB) 원리를 사용하여 모델을 훈련시킨다.
• 학습 가능한 마진을 가진 소프트 대비 손실이 사용되며, 이는 유클리드 거리를 시그모이드 기반 유사도 측정값으로 변환하여 확률적 매칭 점수를 산출한다.
• 임베딩 분포는 혼합 정규분포(Mixture of Gaussians)로 모델링되며, 예를 들어 모호한 숫자 쌍의 경우 두 개의 성분을 사용하여 다수의 유력한 클러스터에 걸쳐 '베팅을 나누는' 방식으로 작동한다.
• 불확실성은 임베딩 분포의 엔트로피를 통해 측정되며, 높은 엔트로피는 입력의 더 큰 모호성과 관련이 있다.
• 모델은 단일 이미지에 여러 숫자가 포함된 모호한 입력을 시뮬레이션하기 위해 설계된 새로운 N-숫자 MNIST 데이터셋을 기반으로 훈련된다.

실험 결과

연구 질문

• RQ1 확률 질량이 다수의 잠재 공간 영역에 분포하는 스토하스틱 임베딩이 결정론적 임베딩보다 모호한 이미지 입력에서 성능을 향상시키는가?
• RQ2 임베딩 분포에서 유도된 제안된 불확실성 측정값이 청소된 입력과 손상된 입력 모두에서 하류 작업 성능과 상관관계가 있는가?
• RQ3 입력이 가려지거나 열악한 조건일 경우 HIB 방법이 이미지 매칭 및 분류 작업에서 어떻게 성능을 내는가?
• RQ4 불확실성 측정값은 모호한 입력과 새로운, 분포 외의 예측값을 구분할 수 있는가?

주요 결과

• HIB는 손상된 입력에서 평균 평균 정밀도(mAP)와 KNN 분류 정확도를 향상시키며, 점수는 일부 설정에서 결정론적 임베딩 대비 최대 0.15 향상되었다.
• 임베딩 분포에서 계산된 불확실성 측정값 η(x)는 성능과 강한 음의 상관관계를 보이며, 높은 불확실성은 예상대로 낮은 정확도를 의미한다.
• 손상된 입력에서 불확실성과 성능 간 페어슨의 타우 상관계수는 mAP 기준 최대 0.67, KNN 기준 최대 0.55에 도달하여 강력한 단조성 관계를 보였다.
• 특히 시각적으로 손상되지 않은 청소된 이미지에서, KNN 분류에서 이웃 거리와의 거리보다 불확실성 측정값이 더 우수한 불확실성의 대체 지표로 작용하였다.
• HIB의 불확실성 측정값은 청소된, 손상되지 않은 이미지에서도 성능과 상관관계를 보이며, 이는 입력 열악성 외에도 내재된 모호성을 포착하고 있음을 시사한다.
• 초기 결과는 η(x)가 가림으로 인한 불확실성과 잘 상관관계가 있음을 보여주지만, 새로운, 알려지지 않은 클래스에서 기인한 지식 불확실성(epistemic uncertainty)에는 덜 효과적이므로, 향후 개방 세계 불확실성 모델링이 필요하다.