[논문 리뷰] Hyperbolic Busemann Learning with Ideal Prototypes

Mina Ghadimi Atigh, Martin Keller‐Ressel외 1명|arXiv (Cornell University)|2021. 06. 28.

Human Pose and Action Recognition참고 문헌 52인용 수 5

한 줄 요약

이 논문은 초등비 공간의 포incare 구의 이상 경계에 클래스 프로토타입을 배치함으로써 사전에 계층적 지식이 필요 없도록 하는 새로운 방법인 하이퍼볼릭 뷰스만 러닝을 소개한다. 예측 임베딩과 이상 프로토타입 간의 유사도를 계산하기 위해 벌점 부여된 뷰스만 손실을 제안하며, 이미지 및 영상 분류 벤치마크에서 최신 기술 수준의 성능을 달성하면서 경계로의 유사도를 분류 신뢰도로 자연스럽게 해석할 수 있다.

ABSTRACT

Hyperbolic space has become a popular choice of manifold for representation learning of various datatypes from tree-like structures and text to graphs. Building on the success of deep learning with prototypes in Euclidean and hyperspherical spaces, a few recent works have proposed hyperbolic prototypes for classification. Such approaches enable effective learning in low-dimensional output spaces and can exploit hierarchical relations amongst classes, but require privileged information about class labels to position the hyperbolic prototypes. In this work, we propose Hyperbolic Busemann Learning. The main idea behind our approach is to position prototypes on the ideal boundary of the Poincaré ball, which does not require prior label knowledge. To be able to compute proximities to ideal prototypes, we introduce the penalised Busemann loss. We provide theory supporting the use of ideal prototypes and the proposed loss by proving its equivalence to logistic regression in the one-dimensional case. Empirically, we show that our approach provides a natural interpretation of classification confidence, while outperforming recent hyperspherical and hyperbolic prototype approaches.

연구 동기 및 목표

• 기존의 하이퍼볼릭 프로토타입 방법이 프로토타입 위치를 위해 사전에 계층적 지식이 필요하다는 한계를 해결하기 위해.
• 라벨 계층 또는 외부 임베딩에 의존하지 않고도 하이퍼볼릭 공간에서 프로토타입 기반 학습을 가능하게 하기 위해.
• 낮은 차원의 계층적 표현 학습을 위한 이론적으로 타당하고 경험적으로 효과적인 방법을 제공하고 해석 가능한 신뢰도 점수를 제공하기 위해.
• 하이퍼볼릭 공간에서 로지스틱 회귀를 일반화하기 위해 이상 경계 프로토타입을 로지스틱 모델의 구조와 일치시키기 위해.

제안 방법

• 표준 하이퍼볼릭 거리에서 무한한 거리에 위치한 포incare 구 모델의 이상 경계에 클래스 프로토타입을 위치시켜 지식 기반 초기화를 가능하게 한다.
• 표준 거리가 발산하는 상황에서 예측 임베딩과 이상 경계 프로토타입 간의 의미 있는 유사도를 계산하기 위해 벌점 부여된 뷰스만 손실을 도입한다.
• 사전 지식이 있을 경우 계층적 프로토타입을 이상 경계에 투영하기 위해 ℓ₂ 정규화를 사용한다.
• 포incare 구 모델에서 표준 곡률을 1로 사용하여 곡률 조정이 필요 없도록 한다.
• 분류를 위해 3층의 MLP를 사용하는 교차 최적화 기반의 최적화 절차를 적용하며, Adam 최적화기와 학습률 스케줄링을 활용한다.
• 일차원 하이퍼볼릭 공간에서 로지스틱 회귀와 이론적으로 동일한 성질을 가짐을 통해 모델 설계 및 일반화 능력의 타당성을 입증한다.

실험 결과

연구 질문

• RQ1 사전 레이블 계층 또는 임베딩 정보 없이도 하이퍼볼릭 공간의 이상 경계에 프로토타입을 효과적으로 위치시킬 수 있는가?
• RQ2 표준 거리가 발산하는 상황에서 하이퍼볼릭 임베딩과 이상 경계 프로토타입 간의 유사도를 측정할 수 있는 미분 가능한 손실 함수를 설계할 수 있는가?
• RQ3 이상 경계 프로토타입을 갖는 하이퍼볼릭 프로토타입 모델이 일차원에서 로지스틱 회귀로 일반화되는가? 이에 대한 이론적 근거는 무엇인가?
• RQ4 제안된 방법은 초구형 및 하이퍼볼릭 프로토타입 기반 모델 대비 정확도와 신뢰도 해석 측면에서 어떻게 성능을 발휘하는가?
• RQ5 이상 경계로의 거리는 하이퍼볼릭 공간에서 분류 신뢰도의 자연스러운 대체 지표로 기능할 수 있는가?

주요 결과

• ActivityNet에서 계층적 프로토타입을 사용한 제안된 방법은 mAP 70.6%를 달성하여 기준 모델의 68.3%를 초월했다.
• 각도 기반 분리에 기반한 지식 기반 프로토타입을 사용할 경우, ActivityNet에서 mAP 79.4%를 기록하여 기준 모델의 68.3%보다 유의미하게 향상되었다.
• Mini-Kinetics에서 분리 기반 프로토타입을 사용한 경우 mAP 71.6%를 달성했으며, 20차원 공간에서 계층적 프로토타입을 사용한 경우 65.0%를 기록했다.
• 벌점 부여된 뷰스만 손실은 이상 경계에 가까운 임베딩일수록 더 낮은 신뢰도를 가지는 자연스러운 분류 신뢰도 해석을 가능하게 한다.
• 이론적 분석을 통해 모델이 일차원 하이퍼볼릭 공간에서 로지스틱 회귀와 동일한 것으로 확인되었으며, 이는 설계의 타당성을 뒷받침한다.
• 세 가지 데이터셋에서 초구형 및 하이퍼볼릭 프로토타입 기반 모델을 모두 능가하며, 더 뛰어난 일반화 능력과 강건성을 입증했다.