[논문 리뷰] ATD: Augmenting CP Tensor Decomposition by Self Supervision

Chaoqi Yang, Qian Cheng외 5명|PubMed|2021. 06. 15.

Tensor decomposition and applications참고 문헌 9인용 수 6

한 줄 요약

이 논문은 데이터 증강과 대비 학습을 통합하여 CP 텐서 분해를 향상시키는 자기지도 학습 방법인 증강 텐서 분해(ATD)를 제안한다. 프로베니우스 노름 피팅과 자기지도 대비 손실을 조합한 통합 목적함수를 통해, ATD는 텐서 기반 기준 모델 대비 최대 2.5%의 정확도 향상을 달성하고, 자기지도 학습 및 오토에인코더 모델 대비 최대 15%의 성능 향상을 이룩하며, 딥러닝 기반 기준 모델의 5% 미만의 파라미터를 사용한다.

ABSTRACT

Tensor decompositions are powerful tools for dimensionality reduction and feature interpretation of multidimensional data such as signals. Existing tensor decomposition objectives (e.g., Frobenius norm) are designed for fitting raw data under statistical assumptions, which may not align with downstream classification tasks. In practice, raw input tensor can contain irrelevant information while data augmentation techniques may be used to smooth out class-irrelevant noise in samples. This paper addresses the above challenges by proposing augmented tensor decomposition (ATD), which effectively incorporates data augmentations and self-supervised learning (SSL) to boost downstream classification. To address the non-convexity of the new augmented objective, we develop an iterative method that enables the optimization to follow an alternating least squares (ALS) fashion. We evaluate our proposed ATD on multiple datasets. It can achieve 0.8% ~ 2.5% accuracy gain over tensor-based baselines. Also, our ATD model shows comparable or better performance (e.g., up to 15% in accuracy) over self-supervised and autoencoder baselines while using less than 5% of learnable parameters of these baseline models.

연구 동기 및 목표

• 기존 텐서 분해 목적함수(통계적 피팅 기반)와 최종 분류 작업 간의 부일치 문제를 해결하기 위해.
• 데이터 증강을 활용하여 클래스 인식 가능하고 강건한 특징을 학습하기 위해 자기지도 학습(SSL)을 CP 텐서 분해에 통합하기 위해.
• 딥러닝 기반 SSL 및 오토에인코더 모델과 비교해 성능을 유지하거나 향상시키면서도 학습 가능한 파라미터를 최소화하여 모델 복잡도를 감소시키기 위해.
• 비볼록성이 있는 새로운 목적함수에도 불구하고 CP 분해의 교대 최소제곱(ALS) 구조를 유지하는 효율적인 최적화 방법을 개발하기 위해.

제안 방법

• ATD는 표준 CP 분해 손실(프로베니우스 노름)과 비편향 음성 샘플링 기반 자기지도 대비 손실을 조합한 하이브리드 목적함수를 도입한다.
• 자기지도 대비 손실은 동일 샘플의 증강된 뷰 간 유사성(양성 쌍)과 다른 클래스 샘플 간 이질성(음성 쌍)을 강제로 만드는 대비 학습 프레임워크를 사용한다.
• 반복적 최적화 절차를 통해 각 하위 문제를 닫힌 형태의 최소제곱으로 해결함으로써, 비볼록성이 있는 증강 목적함수를 처리하면서도 CP-ALS의 계산 효율성을 유지한다.
• 샘플링 편향 문제를 완화하기 위해 음성 샘플의 비편향 추정을 적용함으로써 훈련 안정성과 일반화 성능을 향상시킨다.
• 낮은 랭크의 텐서 기저와 그에 해당하는 계수를 학습함으로써, 최종 분류 작업을 위한 컴act하고 해석 가능한 특징 추출기 구조를 형성한다.
• 이 프레임워크는 터커 분해와 같은 다른 텐서 모델로도 확장 가능하도록 설계되었지만, 본 논문은 CP 분해에 집중한다.

실험 결과

연구 질문

• RQ1 자기지도 학습이 최종 분류 작업에서 CP 텐서 분해의 성능을 향상시킬 수 있는가?
• RQ2 데이터 증강을 효과적으로 텐서 분해에 통합하여 클래스 무관한 노이즈를 걸러낼 수 있는가?
• RQ3 표준 CP-ALS와 유사한 계산 효율성을 유지하면서도 자기지도 목적함수를 정의할 수 있는가?
• RQ4 ATD와 같은 경량이고 저파라미터 모델이 딥러닝 기반 SSL 및 오토에인코더 모델을 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ5 제안된 방법이 최신 기준 모델보다 훨씬 적은 학습 가능한 파라미터로 더 나은 또는 유사한 성능을 달성할 수 있는가?

주요 결과

• ATD는 다양한 실세계 데이터셋에서 텐서 기반 기준 모델 대비 0.8%에서 2.5%의 정확도 향상을 기록한다.
• 평균적으로 ATD는 자기지도 학습 및 오토에인코더 기준 모델 대비 최대 15%의 정확도 향상을 보이며, 뛰어난 일반화 능력을 입증한다.
• 성능 향상에도 불구하고 ATD는 딥러닝 기반 SSL 및 오토에인코더 모델이 요구하는 학습 가능한 파라미터의 5% 미만을 사용한다.
• 반복적 최적화 방법은 표준 CP-ALS와 유사한 渐近 복잡도를 유지하여 확장성과 효율성을 보장한다.
• 생리 신호, 고스펙트럴 영상, fMRI 데이터 등 다양한 데이터 유형에서 강건성을 보이며 광범위한 적용 가능성을 시사한다.
• 제거 실험을 통해 자기지도 손실과 데이터 증강 구성 요소가 성능 향상에 기여하는 데 있어 상당한 기여도를 가짐을 확인했다.