[논문 리뷰] A Topological Regularizer for Classifiers via Persistent Homology

Chao Chen, Xiuyan Ni외 2명|arXiv (Cornell University)|2018. 06. 27.

Topological and Geometric Data Analysis인용 수 54

한 줄 요약

TopoReg은 일관된 경계의 강건성 가중치가 있는 경계 구성요소의 수를 줄여 분리자 경계를 정규화하고, 이 항을 커널 분류기에서의 표준 손실과 함께 최적화하기 위해 지속성 동형성을 이용하는 상위 토폴로지적 패널티를 도입한다.

ABSTRACT

Regularization plays a crucial role in supervised learning. Most existing methods enforce a global regularization in a structure agnostic manner. In this paper, we initiate a new direction and propose to enforce the structural simplicity of the classification boundary by regularizing over its topological complexity. In particular, our measurement of topological complexity incorporates the importance of topological features (e.g., connected components, handles, and so on) in a meaningful manner, and provides a direct control over spurious topological structures. We incorporate the new measurement as a topological penalty in training classifiers. We also pro- pose an efficient algorithm to compute the gradient of such penalty. Our method pro- vides a novel way to topologically simplify the global structure of the model, without having to sacrifice too much of the flexibility of the model. We demonstrate the effectiveness of our new topological regularizer on a range of synthetic and real-world datasets.

연구 동기 및 목표

• 분류 경계의 전역적 매끄러움보다 단순성의 규제를 촉진한다.
• 경계 구성요소에 대한 강건성 기반 토폴로지 패널티 정의.
• 부분선형 대리값을 통해 미분가능한 근사와 그래디언트 계산을 개발한다.
• 커널 로지스틱 회귀에 적용하고 다중 라벨 설정으로 확장한다.
• 합성 및 실제 데이터셋에서 기하학적 기반선과 비교하여 효과를 보인다.

제안 방법

• f의 0 레벨 세트로 분류기를 모델링하고 부호(f)로 분류한다.
• 각 경계 구성요소 c의 강건성 ρ(c)를 지속성 페어링 (p_c, q_c)을 사용하여 c를 제거하는 최소 변화로 측정한다.
• L_T(f) = 경계 구성요소들의 합 ρ(c)^2, 가장 강건한 구성요소 제외.
• 도메인을 이산화하고 f와 -f의 지속적 0D 동형성을 계산하여 Π_f와 Π_-f를 얻고 지속성 페어링에서 강건성을 도출한다.
• 그리드上的 조합에서 조각선형 대리값 ĥf를 사용하면 L_T(ĥf)가 거의 어디에서나 미분가능하고 그라디언트를 도출한다.
• topological penalty를 위해 ŷ = f − 0.5를 사용하여 커널 로지스틱 회귀에 적용; ∇_w L_T를 합 2ĥf(p_c^*, w) ∂ĥf(p_c^*, w)/∂w로 계산, 커널 설정에서의 명시적 형태.
• 다중 라벨에 대해 각 클래스 스칼라 함수 ψ^k를 사용하고 그들의 토폴로지 패널티를 집계한다.

실험 결과

연구 질문

• RQ1 분류 경계의 토폴로지적 특성을 일반화에 도움이 되도록 규제로 사용할 수 있을까? 과도한 평활화 없이도 가능할까?
• RQ2 토폴로지적 특징의 강건성을 어떻게 계량하고 감독 학습 내에서 최적화할 수 있을까?
• RQ3 토폴로지 패널티와 표준 손실을 결합한 최적화를 위한 효율적인 경사 기반 방법이 존재하는가?
• RQ4 프레임워크를 다중 라벨 설정 및 더 높은 차원 토폴로지 특성(연결된 구성요소를 넘는 것)으로 확장할 수 있을까?

주요 결과

• TopoReg은 합성 및 실제 데이터셋에서 일관되게 강력한 베이스라인을 개선하거나 일치시킨다.
• 토폴로지 패널티는 라벨 노이즈에 강건하며 노이즈가 있는 조건에서 기하학적 정규화보다 우수할 수 있다.
• 조각선형 대리값 사용으로 토폴로지 패널티의 미분가능성과 합리적인 그래디언트 계산이 가능해진다.
• 방법은 평균 약 2.08초 정도의 실행 시간을 보이며 다양한 데이터 규모에 확장된다.
• TopoReg의 평균 성능은 테스트된 데이터셋에서 전통적 커널, SVM 및 기하 기반 정규화보다 우수한 경우가 많다.