[논문 리뷰] Uncertainty Estimates for Ordinal Embeddings

Michael Lohaus, Philipp Hennig외 1명|arXiv (Cornell University)|2019. 06. 27.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 4

한 줄 요약

이 논문은 제한된 노이즈가 있는 트리플릿 데이터 하에서 순서형 임bedding에 대한 부트스트랩 및 베이지안 불확실성 추정 방법을 제안한다. 임베딩에 대한 분포를 생성함으로써, 이 방법은 트리플릿 예측, 임베딩 파라미터, 심리물리학 적용 분야에 대해 잘 校정된 불확실성 정량화를 가능하게 한다. 다만 테스트된 시나리오에서는 활성 학습에 대해 제한적인 이점이 나타났다.

ABSTRACT

To investigate objects without a describable notion of distance, one can gather ordinal information by asking triplet comparisons of the form "Is object $x$ closer to $y$ or is $x$ closer to $z$?" In order to learn from such data, the objects are typically embedded in a Euclidean space while satisfying as many triplet comparisons as possible. In this paper, we introduce empirical uncertainty estimates for standard embedding algorithms when few noisy triplets are available, using a bootstrap and a Bayesian approach. In particular, simulations show that these estimates are well calibrated and can serve to select embedding parameters or to quantify uncertainty in scientific applications.

연구 동기 및 목표

• 소수의 노이즈가 있는 트리플릿만 제공될 때 순서형 임베딩 방법에서 불확실성 정량화의 부족을 해결하기 위해.
• 실제 과학적 및 심리물리학적 적용에 적용 가능한 잘 校정된 경험적 불확실성 추정을 개발하기 위해.
• 불확실성 추정이 임베딩 차원 수와 같은 임베딩 파라미터 선택을 안내하는 데 얼마나 효과적인지 평가하기 위해.
• 불확실성 추정이 트리플릿 선택을 위한 활성 학습에서 얼마나 유용한지 평가하기 위해.
• 자료 부족 조건에서 순서형 임베딩 결과의 신뢰도를 정량화하는 실용적 프레임워크를 제공하기 위해.

제안 방법

• 노이즈가 있는 트리플릿을 재표본 추출하여 다수의 임베딩을 생성하고, 점 위치의 경험적 분산을 계산함으로써 부트스트랩 방법을 적용한다.
• 가우시안 프로세스를 사용한 베이지안 비모수 모델을 활용하여 인지 기능에 대한 사후 분포를 추론하고, 임베딩의 불확실성을 유도한다.
• 부트스트랩 및 베이지안 샘플 간 일관된 비교를 보장하기 위해 임베딩을 정규화하여 척도 및 회전 불변성을 제거한다.
• 부트스트랩 샘플들 간 평균 위치와 표준편차를 계산하여 각 데이터 포인트의 불확실성을 정량화한다.
• 불확실성 추정을 활용해 활성 학습 환경에서 가장 정보가 많은 트리플릿을 순위 매기고 선택한다.
• 다수의 시도에서 예측 간격의 커버리지 비율을 통해 불확실성의 校정 정도를 평가한다.

실험 결과

연구 질문

• RQ1 소수의 노이즈가 있는 트리플릿만 존재할 때 부트스트랩 및 베이지안 방법이 잘 校정된 불확실성 추정을 제공할 수 있는가?
• RQ2 불확실성 추정은 임베딩 차원 수 또는 기타 하이퍼파라미터 선택을 얼마나 효과적으로 안내하는가?
• RQ3 불확실성 추정은 순서형 임베딩 작업에서 활성 학습 성능을 얼마나 향상시킬 수 있는가?
• RQ4 노이즈가 많은 인간 인지 데이터를 포함한 심리물리학 실험에서 불확실성 추정은 어떻게 성능을 보이는가?
• RQ5 불확실성 추정은 트리플릿 응답에서 다양한 수준의 노이즈와 인지 변동성에 대해 얼마나 강인한가?

주요 결과

• 부트스트랩 및 베이지안 불확실성 추정은 잘 校정되어 있으며, 예측 간격이 명시된 수준에 가까운 비율로 진짜 트리플릿 결과를 커버한다.
• 인지 변동성이 높을수록 불확실성이 증가하며(가우시안 커널의 길이 척도가 짧아짐), 트리플릿 응답의 일관성 부족을 반영한다.
• 특히 자료가 적은 환경에서 부트스트랩 방법을 사용할 경우, 적절한 임베딩 차원 수를 식별하는 데 성공적으로 불확실성 추정이 기여한다.
• 좋은 校정 성능에도 불구하고, 불확실성 추정은 활성 학습에서의 성능 향상이 제한적이었으며, 랜덤 트리플릿 선택이 종종 불확실성 기반 선택보다 우수했다.
• 심리물리학 적용 분야에서 의미 있는 불확실성 정량화를 가능하게 하였으며, 관찰자 간 인지 기능의 다양성과 노이즈가 많은 트리플릿 답변을 반영하였다.
• 이 프레임워크는 2,000개의 트리플릿조차도 존재하는 조건에서 점 위치와 트리플릿 예측에 대해 신뢰할 수 있는 불확실성 정량화를 가능하게 한다.