[논문 리뷰] Free Hyperbolic Neural Networks with Limited Radii.

Yunhui Guo, Xudong Wang외 2명|arXiv (Cornell University)|2021. 07. 23.

Advanced Neural Network Applications참고 문헌 18인용 수 4

한 줄 요약

이 논문은 초등각 신경망(Hyperbolic Neural Networks, HNNs)에서 기울기 소멸 문제를 완화하기 위해 초등각 임베딩을 제한된 반경 내에 유지하는 정규화 기법인 Feature Clipping을 제안한다. 학습을 안정화시킴으로써 HNN은 CIFAR10, CIFAR100, ImageNet과 같은 표준 이미지 벤치마크에서 유클리드 신경망과 비교할 만한 성능을 달성할 수 있으며, 적대적 공격에 대한 강건성과 분포 외 탐지 능력도 향상된다.

ABSTRACT

Non-Euclidean geometry with constant negative curvature, i.e., hyperbolic space, has attracted sustained attention in the community of machine learning. Hyperbolic space, owing to its ability to embed hierarchical structures continuously with low distortion, has been applied for learning data with tree-like structures. Hyperbolic Neural Networks (HNNs) that operate directly in hyperbolic space have also been proposed recently to further exploit the potential of hyperbolic representations. While HNNs have achieved better performance than Euclidean neural networks (ENNs) on datasets with implicit hierarchical structure, they still perform poorly on standard classification benchmarks such as CIFAR and ImageNet. The traditional wisdom is that it is critical for the data to respect the hyperbolic geometry when applying HNNs. In this paper, we first conduct an empirical study showing that the inferior performance of HNNs on standard recognition datasets can be attributed to the notorious vanishing gradient problem. We further discovered that this problem stems from the hybrid architecture of HNNs. Our analysis leads to a simple yet effective solution called Feature Clipping, which regularizes the hyperbolic embedding whenever its norm exceeding a given threshold. Our thorough experiments show that the proposed method can successfully avoid the vanishing gradient problem when training HNNs with backpropagation. The improved HNNs are able to achieve comparable performance with ENNs on standard image recognition datasets including MNIST, CIFAR10, CIFAR100 and ImageNet, while demonstrating more adversarial robustness and stronger out-of-distribution detection capability.

연구 동기 및 목표

• 계층적 데이터에 대해 이론적으로 유리한 특성을 지닌 초등각 신경망(HNNs)이 표준 이미지 인식 벤치마크에서 성능이 열등한 이유를 조사하기 위해.
• CIFAR나 ImageNet과 같은 비계층적 데이터셋에서 HNN 성능이 열등한 근본 원인을 규명하기 위해.
• 기울기 소멸 문제를 방지하기 위해 단순하면서도 효과적인 정규화 방법을 개발하기 위해.
• 표준 비전 벤치마크에서 경쟁 가능한 성능을 달성하면서도 적대적 공격에 대한 강건성과 분포 외 탐지 능력 같은 이점을 유지할 수 있도록 HNN을 개선하기 위해.

제안 방법

• 임베딩의 초등각 노름이 사전에 정의된 임계값을 초과할 경우 이를 잘라내는 정규화 기법인 Feature Clipping을 도입한다.
• 기울기 소멸 문제를 방지하기 위해 역전파 동안 잘라내기 연산을 적용한다.
• 표현의 반경 범위를 제한함으로써 초등각 공간의 내재 기하학을 유지한다.
• 잘라내기 연산을 히든 표현의 초등각 노름에 적용하기 위해 Poincaré 구역 모델을 사용한다.
• 네트워크의 깊이나 너비를 변경하지 않고 표준 HNN 아키텍처에 Feature Clipping을 통합한다.
• 잘라낸 표현을 사용하여 표준 역전파 알고리즘을 통해 HNN을 엔드 투 엔드로 학습시켜 최적화를 안정화시킨다.

실험 결과

연구 질문

• RQ1 왜 초등각 신경망(HNNs)은 CIFAR10과 ImageNet과 같은 표준 이미지 인식 데이터셋에서 성능이 열등한가?
• RQ2 비계층적 데이터에서 학습할 때 HNN에서 기울기 소멸 문제가 발생하는 원인은 무엇인가?
• RQ3 단순한 아키텍처 정규화 기법을 통해 HNN의 기울기 소멸 문제를 완화할 수 있는가?
• RQ4 제한된 반경 내에 표현이 제한된 HNN은 표준 비전 벤치마크에서 유클리드 신경망과 비교해 경쟁 가능한 성능을 낼 수 있는가?
• RQ5 Feature Clipping를 적용한 HNN은 적대적 공격에 대한 강건성과 분포 외 탐지 능력 같은 이점들을 유지하거나 향상시키는가?

주요 결과

• HNN에서의 기울기 소멸 문제의 주요 원인은 초등각과 유클리드 성분이 역전파 과정에서 불안정하게 상호작용하는 하이브리드 아키텍처에 기인한다.
• Feature Clipping는 초등각 임베딩의 반경 범위를 제한함으로써 기울기 소멸을 효과적으로 방지한다.
• Feature Clipping를 적용한 HNN은 MNIST, CIFAR10, CIFAR100, ImageNet에서 유클리드 신경망과 비교해 유사한 성능을 달성한다.
• 향상된 HNN은 벤치마크 데이터셋에서 표준 유클리드 신경망보다 더 강한 적대적 공격에 대한 강건성을 보인다.
• Feature Clipping를 적용한 HNN은 OOD 벤치마크에서 AUROC 점수로 측정된 분포 외 탐지 능력이 뛰어나다.
• 이 방법은 단순하고 효과적이며 일반화 가능하며, 잘라내기 연산 외에 아키텍처 변경이 필요하지 않다.