[논문 리뷰] Penalizing Localized Dirichlet Energies in Low Rank Tensor Products

Paris A. Karakasis, Nicholas D. Sidiropoulos|arXiv (Cornell University)|2026. 01. 20.

Tensor decomposition and applications인용 수 0

한 줄 요약

이 논문은 저순위 텐서곱 B-스플라인 모델(TPBS)을 분석하고, 닫힌 형태의 Dirichlet 에너지를 도출하며, 로컬 Dirichlet 에너지 정규화(LDE) 도입, 불완전 데이터에 대한 추론 방법, 그리고 TPBS가 과적합 상황에서 신경망보다 종종 우수하지만 정규화에 대해 로버스트한 특성을 보임을 보인다.

ABSTRACT

We study low-rank tensor-product B-spline (TPBS) models for regression tasks and investigate Dirichlet energy as a measure of smoothness. We show that TPBS models admit a closed-form expression for the Dirichlet energy, and reveal scenarios where perfect interpolation is possible with exponentially small Dirichlet energy. This renders global Dirichlet energy-based regularization ineffective. To address this limitation, we propose a novel regularization strategy based on local Dirichlet energies defined on small hypercubes centered at the training points. Leveraging pretrained TPBS models, we also introduce two estimators for inference from incomplete samples. Comparative experiments with neural networks demonstrate that TPBS models outperform neural networks in the overfitting regime for most datasets, and maintain competitive performance otherwise. Overall, TPBS models exhibit greater robustness to overfitting and consistently benefit from regularization, while neural networks are more sensitive to overfitting and less effective in leveraging regularization.

연구 동기 및 목표

• 고정된 데이터에서 일반화 성능을 개선하기 위한 고용량 모델의 정규화 필요성 제시.
• 저차원-랭크 텐서곱 모델의 Dirichlet 에너지를 특성화하고 전역 에너지 정규화의 문제를 밝힘.
• 학습 포인트를 중심으로 하는 로컬 Dirichlet 에너지(LDE) 정규화기를 제시하여 데이터가 존재하는 영역에서의 매끄러움 촉진.
• TPBS 구조를 활용한 불완전 데이터에 대한 추론 전략 개발.
• 회귀와 분류 작업 전반에서 TPBS와 신경망을 비교 평가하고 과적합 현상에 대한 특성을 분석

제안 방법

• TPBS 모델의 Dirichlet 에너지 DE(g)가 폐쇄형 표현 DE(g)=s(g)^T Z(g) s(g)로 표현됨을 보인다.
• 학습 포인트 중심의 로컬 Dirichlet 에너지 LDE_rho(g)= sum_m ∫_{B_rho(x_m)} ||∇g(x)||_F^2 dx를 정의하고 이를 경험적 위험 최소화의 정규화로 사용한다.
• 훈련 중 점진적으로 λ를 증가시키는 정규화 스케줄(λ_{t+1}=h λ_t)을 사용하고 검증 성능을 기반으로 모델을 선택하며 과적합 인식 선택까지 포함한다.
• 불완전 관찰에 대한 두 가지 주변화 기반 추론 전략: (i) 관찰되지 않은 특징에 대한 간단한 주변화(Eq. 10)와 (ii) 저랭크 밀도 모델을 사용한 주변화 추정기(Eq. 12)
• TPBS 인자의 분해를 활용하여 데이터가 부족한 상황에서도 대효율적 주변화와 추론을 수행, 불완전 데이터를 임퓨테이션 없이 수용

Figure 1 : Double descent of test error with respect to network width for varying training set sizes on MNIST.

실험 결과

연구 질문

• RQ1 저차원 텐서곱 모델의 Dirichlet 에너지를 폐쇄형으로 계산할 수 있는가, 그리고 이것이 보간과 정규화에 어떤 함의를 갖는가?
• RQ2 훈련 포인트 이웃에 초점을 둔 로컬 Dirichlet 에너지 정규화가 일반화와 과적합에 대한 강건성을 글로벌 Dirichlet 에너지보다 향상시키는가?
• RQ3 TPBS 모델은 불완전 데이터에 대해 어떻게 추론할 수 있으며, 누락 데이터 하에서 이러한 방법은 신경망과 어떻게 비교되는가?
• RQ4 TPBS 모델이 분류 및 회귀 작업에서 경쟁력 있는 성능을 유지하고 신경망에 비해 과적합에 대한 강건성을 보이고 정규화의 이점을 일관되게 얻는가?

주요 결과

Dataset	NN (best val)	NN (overfit)	TPBS (best val)	TPBS (overfit)
Ion	0.949 ± 0.026 (NR)	0.952 ± 0.014 (R)	0.930 ± 0.029 (R)	0.938 ± 0.010 (R)
BCW	0.975 ± 0.007 (NR)	0.958 ± 0.012 (NR)	0.965 ± 0.014 (R)	0.965 ± 0.014 (R)
Diabetes	0.101 ± 0.010 (R)	0.223 ± 0.037 (R)	0.134 ± 0.005 (R)	0.173 ± 0.019 (R)
Yacht	0.001 ± 0.000 (R)	0.001 ± 0.000 (R)	0.001 ± 0.000 (R)	0.001 ± 0.000 (R)
Physico	0.263 ± 0.010 (NR)	0.533 ± 0.075 (NR)	0.340 ± 0.012 (R)	0.336 ± 0.013 (R)
Sarcos	0.049 ± 0.001 (NR)	0.060 ± 0.005 (NR)	0.240 ± 0.042 (R)	0.243 ± 0.046 (R)

• TPBS 모델에 대한 Dirichlet 에너지는 DE(g)=s(g)^T Z(g) s(g)로 폐쇄형으로 계산 가능하다.
• 로컬 Dirichlet 에너지 정규화(LDE_rho)는 데이터-지원 영역에 초점을 맞추고 일반화를 개선하며 특히 과적합 하에서의 성능 향상에 기여한다.
• 여섯 개 데이터셋에 걸쳐 LDE-정규화된 TPBS는 종종 신경망을 능가하거나 대등하며, TPBS가 과적합에 더 강한 저항성을 보이고 정규화의 이점을 일관되게 얻는다.
• 불완전 데이터 시나리오에서, 로컬 정규화와 주변화 기반 추정기를 갖춘 TPBS는 NN 베이스라인보다 경쟁력이 있으며 특히 과적합 하에서 더 우수한 경우가 많다.
• 정규화는 TPBS에 일관되게 이득을 주지만, 신경망은 과적합에 더 민감하고 정규화의 이점이 덜 일관적이다.