[논문 리뷰] TopoReg: A Topological Regularizer for Classifiers.

Chao Chen, Xiuyan Ni외 2명|arXiv (Cornell University)|2018. 06. 27.

Topological and Geometric Data Analysis인용 수 4

한 줄 요약

TopoReg는 결정 경계의 전반적인 구조를 단순화하기 위해 위상적 복잡도(예: 불필요한 연결 성분 및 핸들)를 측정하고 페널티를 주는 원리에 기반한 위상 정규화 기법을 제안한다. 이는 유의미하고 미분 가능한 손실 함수를 사용하며, 모델의 유연성을 훼손하지 않으면서도 더 매끄럽고 일반화 능력이 뛰어난 모델을 가능하게 하며, 합성 및 실세계 데이터셋에서 최신 기술 수준의 성능을 보여준다.

ABSTRACT

Regularization plays a crucial role in supervised learning. A successfully regularized model strikes a balance between a perfect description of the training data and the ability to generalize to unseen data. Most existing methods enforce a global regularization in a structure agnostic manner. In this paper, we initiate a new direction and propose to enforce the structural simplicity of the classification boundary by regularizing over its topological complexity. In particular, our measurement of topological complexity incorporates the importance of topological features (e.g., connected components, handles, and so on) in a meaningful manner, and provides a direct control over spurious topological structures. We incorporate the new measurement as a topological loss in training classifiers. We also propose an efficient algorithm to compute the gradient. Our method provides a novel way to topologically simplify the global structure of the model, without having to sacrifice too much of the flexibility of the model. We demonstrate the effectiveness of our new topological regularizer on a range of synthetic and real-world datasets.

연구 동기 및 목표

• 기존 정규화 방법이 구조적 인식 능력을 갖추지 못한 점을 보완하기 위해 위상적 단순성이라는 새로운 인덕티브 바이어스를 도입하는 것.
• 결정 경계의 위상적 복잡도를 의미 있는, 미분 가능한 측정법으로 정의하여 연결 성분 및 핸들 같은 특징을 포괄하는 것.
• 위상 손실에 대한 효율적인 기울기 계산 알고리즘을 개발하여 딥 분류기의 엔드 투 엔드 학습을 가능하게 하는 것.
• 위상적 복잡도를 제어함으로써 일반화 능력 향상이 가능하며, 모델 용량을 감소시키지 않는다는 것을 입증하는 것.

제안 방법

• 결정 경계의 연결 성분 및 고리와 같은 특징을 정량화하기 위해 영구 동질성(persistent homology) 기반의 위상적 복잡도 측정법을 제안한다.
• 불필요한 위상적 특징의 존재를 페널라이징하는, 미분 가능한 위상 손실 함수를 설계하여 더 단순하고 일반화 능력이 뛰어난 결정 경계를 촉진한다.
• 위상 손실의 하위미분을 이용한 효율적인 기울기 계산 방법을 도입하여, 위상 정규화 기법을 백프로파게이션에 통합할 수 있도록 한다.
• 표준 교차 엔트로피 손실과 결합하여 위상 손실을 학습 목표에 통합함으로써 지도 학습에 적용한다.
• 기울기 기반 최적화를 가능하게 하기 위해 위상 지속도 다이어그램의 미분 가능한 근사치를 활용한다.
• 신경망 학습 중에 정규화 기법을 적용함으로써 엔드 투 엔드 최적화를 가능하게 하면서도 모델의 유연성을 유지한다.

실험 결과

연구 질문

• RQ1 분류기의 결정 경계 위상적 복잡도를 효과적으로 측정하고 이를 정규화 기법으로 활용할 수 있는가?
• RQ2 위상적 단순성 강제가 지도 학습에서 일반화 능력을 어떻게 향상시키는가?
• RQ3 미분 가능한 위상 손실을 효율적으로 계산하고 딥 러닝 학습 파이프라인에 통합할 수 있는가?
• RQ4 제안된 정규화 기법이 결정 경계에서 불필요한 위상적 구조(예: 고립된 성분 또는 고리)를 줄이는가?
• RQ5 TopoReg는 기존 정규화 방법에 비해 합성 및 실세계 데이터셋에서 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 위상 정규화 기법은 결정 경계에서 불필요한 위상적 특징(예: 분리된 성분 및 핸들)을 크게 감소시킨다.
• TopoReg는 합성 및 실세계 데이터셋 모두에서 일반화 성능을 향상시키며, 기존 정규화 기반 모델들을 능가한다.
• 모델의 유연성을 유지하면서도 결정 경계의 전반적 구조를 단순화함으로써 과적합을 방지한다.
• 미분 가능한 위상 손실은 효과적인 백프로파게이션을 가능하게 하여 딥 러닝 프레임워크에 원활하게 통합된다.
• 실험 결과, TopoReg로 학습된 모델는 더 높은 테스트 정확도를 달성하고 분포 이탈에 대한 강건성도 향상된다.
• 위상적 복잡도 측정법은 구조적 단순성 효과를 효과적으로 포착하며, 전통적 정규화 방식을 초월한 의미 있는 인덕티브 바이어스를 제공한다.