[논문 리뷰] Grouped Transformations in High-Dimensional Explainable ANOVA Approximation.

Felix Bartel, Daniel Potts외 1명|arXiv (Cornell University)|2020. 10. 20.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 5

한 줄 요약

이 논문은 고차원 산산이 흩어진 데이터에 대해 ANOVA 분해 항목에 대응하는 주파수 그룹을 활용한 빠른 알고리즘인 그룹화된 푸리에 변환을 소개한다. 그룹 라소를 통한 군집 희소성과 행렬-벡터 곱셈의 가속화를 통해, 부족한 데이터, 과다한 데이터, 노이즈가 있는 상황에서도 성능이 향상된 효율적인 함수 근사가 가능하다.

ABSTRACT

Many applications are based on the use of efficient Fourier algorithms such as the fast Fourier transform and the nonequispaced fast Fourier transform. In a high-dimensional setting it is also already possible to deal with special sampling sets such as sparse grids or rank-1 lattices. In this paper we propose fast algorithms for high-dimensional scattered data points with corresponding frequency sets that consist of groups along the dimensions in the frequency domain. From there we propose a fast matrix-vector multiplication, the grouped Fourier transform, that finds theoretical foundation in the context of the analysis of variance (ANOVA) decomposition where there is a one-to-one correspondence from the ANOVA terms to our proposed groups. An application can be found in function approximation for high-dimensional functions where the number of the variable interactions is limited. We tested two different approximation approaches: Classical Tikhonov-regularization, namely, regularized least squares, and the technique of group lasso, which promotes sparsity in the groups. As for the latter, there are no explicit solution formulas which is why we applied the fast iterative shrinking-thresholding algorithm to obtain the minimizer. Numerical experiments in under-, overdetermined, and noisy settings indicate the applicability of our algorithms.

연구 동기 및 목표

• 제한된 상호작용을 가진 고차원 공간에서 효율적인 함수 근사 문제를 해결하기 위해.
• 차원 간으로 그룹화된 구조화된 주파수 집합 위의 산산이 흩어진 데이터를 위한 빠른 알고리즘 개발을 위해.
• ANOVA 분해를 푸리에 기반 방법과 통합하여 해석 가능성과 계산 효율성을 향상시키기 위해.
• 정규화 기법(티코노프 및 그룹 라소)을 적용하여 상호작용 항목의 희소성을 촉진하기 위해.
• 제안된 방법이 부족한 데이터, 과다한 데이터, 노이즈가 있는 상황에서 효과적으로 작동하는지 입증하기 위해.

제안 방법

• ANOVA 항목에 대응하는 차원별 주파수 그룹으로 구성된 그룹화된 푸리에 변환을 제안하여 주파수 도메인에서의 군집 희소성 구조를 활용해 행렬-벡터 곱셈을 가속화한다.
• ANOVA 분해 항목과 변환 도메인 내 주파수 그룹 간에 일대일 대응 관계를 수립한다.
• 근사화에 정규화된 최소 제곱법(Tikhonov)과 그룹 라소를 사용하며, 후자는 닫힌 형태의 해가 없어 반복 최적화가 필요하다.
• 그룹 라소 최적화 문제를 효율적으로 해결하기 위해 빠른 반복 수축-임계값 알고리즘(FISTA)을 활용한다.
• 희소 격자 또는 랭크-1 격자 위의 산산이 흩어진 데이터에 이 방법을 적용하여, 구조화된 샘플링을 통해 계산 속도를 향상시킨다.
• 주파수 공간 내 군집 구조를 활용해 차원 수 증가에 따라 효율적으로 확장 가능한 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 고차원 푸리에 분석에서 ANOVA 분해 항목을 고려한 주파수 그룹화된 구성 요소로 효율적으로 매핑할 수 있는가?
• RQ2 그룹화된 주파수 구조는 고차원 산산이 흩어진 데이터 근사에서 행렬-벡터 곱셈을 더 빠르게 만들 수 있는가?
• RQ3 고차원 함수 근사에서 상호작용 항목의 희소성 촉진에 있어 그룹 라소 정규화가 티코노프 정규화보다 우수한가?
• RQ4 제안된 방법은 부족한 데이터, 과다한 데이터, 노이즈가 있는 데이터 환경에서 성능이 어떠한가?
• RQ5 FISTA와 같은 빠른 반복 해법을 그룹화된 푸리에 변환과 효과적으로 조합하여 확장 가능한 고차원 근사에 활용할 수 있는가?

주요 결과

• 그룹화된 푸리에 변환은 주파수 도메인에서 ANOVA 항목의 군집 구조를 활용해 빠른 행렬-벡터 곱셈을 가능하게 한다.
• 상호작용 항목에 대응하는 주파수 그룹화를 통해 고차원 산산이 흩어진 데이터에서 효율적인 함수 근사가 가능하다.
• 그룹 라소 정규화는 상호작용 항목의 희소성을 성공적으로 촉진하며, 상호작용이 제한된 상황에서 티코노프보다 뛰어난 성능을 보인다.
• 수치 실험을 통해 부족한 데이터, 과다한 데이터, 노이즈가 있는 상황에서 안정적인 성능을 입증한다.
• 닫힌 형태의 해가 없음에도 불구하고 FISTA 기반 그룹 라소 해법은 효과적이고 확장 가능한 접근 방식을 제공한다.
• 제안된 알고리즘은 고차원 함수 근사 과제에서 뛰어난 계산 효율성과 확장성을 보여준다.