[논문 리뷰] A Topology Layer for Machine Learning

Rickard Brüel‐Gabrielsson, Bradley J. Nelson외 4명|arXiv (Cornell University)|2019. 05. 29.

Topological and Geometric Data Analysis참고 문헌 35인용 수 46

한 줄 요약

미분 가능 토폴로지 계층은 레벨 세트 및 엣지 기반 여과에 대한 지속적 호몰로지 계산을 가능하게 하여 정규화, 생성 모델의 토폴로지 선험, 그리고 토폴로지 기반 적대적 공격을 가능하게 한다.

ABSTRACT

Topology applied to real world data using persistent homology has started to find applications within machine learning, including deep learning. We present a differentiable topology layer that computes persistent homology based on level set filtrations and edge-based filtrations. We present three novel applications: the topological layer can (i) regularize data reconstruction or the weights of machine learning models, (ii) construct a loss on the output of a deep generative network to incorporate topological priors, and (iii) perform topological adversarial attacks on deep networks trained with persistence features. The code (www.github.com/bruel-gabrielsson/TopologyLayer) is publicly available and we hope its availability will facilitate the use of persistent homology in deep learning and other gradient based applications.

연구 동기 및 목표

• 유클리드 데이터, 이미지 및 3D 데이터에 적용 가능한 레벨 세트 및 엣지 기반 여과에 대한 미분 가능 지속성 계층을 도입한다.
• 모델 가중치나 출력에 직접 토폴로지 특성을 페널티로 부과하여 정규화를 입증한다.
• 깊은 생성 네트워크에 토폴로지 선험을 도입하여 생성 데이터의 품질을 향상시킨다.
• 지속성 특징을 조작하여 분류에 영향을 주는 토폴로지 기반 적대적 공격을 시연한다.

제안 방법

• 미분 가능 프레임워크를 사용하여 레벨 세트 및 엣지 기반 여과를 통한 지속적 동호학을 계산한다.
• 지속 도표(PD)를 통한 역전파를 가능하게 하는 PyTorch 확장을 제공한다.
• 경사 기반 최적화를 위한 지속 도표에 대한 손실 함수(E(p,q,i0;PDk) 및 Wasserstein 등)를 정의한다.
• 출생-사망 이벤트를 여과 셀에 매핑하여 입력이나 매개변수에 대한 그래디언트 계산을 가능하게 한다.
• 선형 모델의 정규화 및 GAN으로 생성된 이미지와 3D 복셀 데이터를 다듬기 위해 토폴로지 손실을 적용한다.
• 토폴로지 특징과 분류를 바꾸도록 입력을 최적화하여 적대적 공격을 시연한다.

실험 결과

연구 질문

• RQ1 미분 가능 지속성 계층을 주류 경사 기반 학습 파이프라인에 통합할 수 있는가?
• RQ2 전통적인 노름과 비교하여 토폴로지 페널티가 정규화 및 특징 클러스터링에 어떤 영향을 미치는가?
• RQ3 GAN이 생성하는 이미지와 3D 복셀 데이터의 품질에 토폴로지 선험이 미치는 영향은 무엇인가?
• RQ4 지속성 기반 특징이 효과적인 토폴로지 기반 적대적 공격을 가능하게 하고 모델 취약점을 드러낼 수 있는가?

주요 결과

• 미분 가능 토폴로지 계층은 일반적인 여과에 대해 지속 도표를 통한 역전파를 가능하게 한다.
• 토폴로지 정규화는 모델 가중치의 클러스터링을 촉진하거나 국부 최댓값의 수를 줄일 수 있다.
• 생성 모델의 토폴로지 선험은 생성된 이미지 품질을 향상시키고 잠재 공간 보간을 토폴로지 일치 변형으로 유도할 수 있다.
• 토폴로지 기반 적대적 공격은 지속성 특징을 조작하여 오분류를 유도할 수 있으며, 모델 유형에 따라 효과가 다르다.
• 경험적 결과는 토폴로지 인식 학습을 사용할 때 생성기 평가 지표에서 측정 가능한 개선이 있음을 시사한다.
• 이 방법은 2D 이미지와 3D 복셀 데이터에 대해 0D 및 1D 지속성을 레벨 세트와 엣지 기반 여과 모두에서 지원한다.