[논문 리뷰] Decoupling multivariate functions using a nonparametric filtered tensor decomposition

Jan Decuyper, Koen Tiels외 3명|arXiv (Cornell University)|2022. 05. 23.

Tensor decomposition and applications참고 문헌 32인용 수 5

한 줄 요약

이 논문은 다변량 비선형 함수를 일변량 지 branching 으로 분해하기 위해 1차 도함수 정보를 활용하는 비모수적 필터링 텐서 분해(FTD) 방법을 제안한다. 자코비안 텐서에 FTD를 적용함으로써 복잡한 비선형성을 효율적이고 해석 가능하며 파rameter 수를 줄인 표현이 가능해지며, 이는 비선형 시스템 식별 및 머신러닝에서 최대 50%의 모델 축소와 함께 가시화된 일변량 함수를 통한 해석 가능성 향상을 보여준다.

ABSTRACT

Multivariate functions emerge naturally in a wide variety of data-driven models. Popular choices are expressions in the form of basis expansions or neural networks. While highly effective, the resulting functions tend to be hard to interpret, in part because of the large number of required parameters. Decoupling techniques aim at providing an alternative representation of the nonlinearity. The so-called decoupled form is often a more efficient parameterisation of the relationship while being highly structured, favouring interpretability. In this work two new algorithms, based on filtered tensor decompositions of first order derivative information are introduced. The method returns nonparametric estimates of smooth decoupled functions. Direct applications are found in, i.a. the fields of nonlinear system identification and machine learning.

연구 동기 및 목표

• 신경망과 기저 전개와 같은 데이터 기반의 다변량 비선형 모델에서 해석 가능성 부족과 높은 파라미터 수 문제를 해결하기 위해.
• 1차 도함수 정보를 활용하여 결합된 비선형 함수를 비결합된, 구조화된 형태로 전환하는 후처리 기법을 개발하기 위해.
• 기존의 텐서 기반 접근법에서 다루지 못했던 단일 출력 시스템을 다룰 수 있도록 기존 분해 방법을 확장하기 위해.
• 사전에 고정된 함수 형태를 가정하지 않고 데이터로부터 직접 비모수적 추정을 수행할 수 있도록 일변량 비선형 지 branching 을 추정하기 위해.
• 성능를 유지하면서도 해석 가능성을 향상시키기 위해 가시화된 비선형성으로 인한 모델 축소 전략을 제공하기 위해.

제안 방법

• 방법은 다수의 입력 점에서 평가된 1차 도함수 정보(자코비안 행렬)를 이용하여 제3차 텐서를 구성하며, 이를 자코비안 텐서로 표기한다.
• 이 텐서에 필터링 텐서 분해(FTD)를 적용하여 잠재적인 비결합된 구조를 드러내는 저질서 근사값을 추출한다.
• FTD 알고리즘은 자코비안 행렬의 삼선형 구조를 활용하여 동시에 대각화를 수행함으로써 변환 행렬 V와 일변량 함수 지 branching 을 식별한다.
• 비결합된 형태는 f(p) = W g(V^T p)로 표현되며, g는 스무딩 기법을 통해 추정된 비모수적 일변량 함수를 나타낸다.
• 이 방법은 비모수적이다: 지 branching 에 대해 특정한 함수 가족을 가정하지 않으며, 대신 커널 스무딩 또는 유사 기법을 통해 데이터로부터 직접 추정한다.
• 초기 결합된 함수에서 발생하는 편향을 줄이기 위해 입력-출력 데이터를 활용한 후처리 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 1차 도함수 정보의 필터링 텐서 분해가 다변량 비선형 함수를 효과적으로 일변량 구성요소로 분리할 수 있는가?
• RQ2 제안된 방법이 기존 모델과 비교해 예측 성능을 유지하거나 향상시키면서도 상당한 모델 축소를 달성할 수 있는가?
• RQ3 비결합된 표현이 개별 비선형 지 branching 의 시각화를 통해 해석 가능성을 향상시키는가?
• RQ4 기존 텐서 기반 분해 기법에서 다루지 못했던 단일 출력 시스템으로도 이 방법을 확장할 수 있는가?
• RQ5 후처리 최적화가 비결합된 모델의 정확도를 어느 정도 향상시키는가?

주요 결과

• 제안된 FTD 기반 분해 방법은 비선형 NARX 모델의 모델 파라미터를 55개에서 30개로 50% 축소하면서도 유사한 테스트 세트 성능(1.78% 오차)을 유지하였다.
• r = 3인 비결합 모델은 두 지 branching 에서 주로 세차항 관계를 보였고, 세 번째 지 branching 에서는 선형 형태를 보였다. 이는 선형 및 세차 스프링 강성 성분을 포함하는 알려진 물리적 시스템과 일치하였다.
• 이 방법은 단일 출력 NARX 모델의 비결합에 성공적으로 적용되어 텐서 기반 분해의 적용 범위를 다중 출력 사례를 넘어선 영역으로 확장하였다.
• 비결합 모델의 후처리 최적화를 통해 편향이 감소하고 일반화 성능이 향상되어, 비결합된 형태가 비선형 정밀화를 위한 초기화로 유용함을 입증하였다.
• 비결합 표현을 통해 비선형 함수의 명확한 시각화가 가능해졌으며, 이는 시스템 역학의 물리적 이해를 위한 통찰을 제공하였다.
• 비교적 우수한 성능을 보였던 [12]의 접근법과 비교해 본 방법은 유사하거나 더 낫거나 모델의 단순성과 해석 가능성 면에서 뛰어났다.