[논문 리뷰] Tensor Methods for Additive Index Models under Discordance and Heterogeneity

Krishnakumar Balasubramanian, Jianqing Fan외 1명|arXiv (Cornell University)|2018. 07. 17.

Tensor decomposition and applications참고 문헌 31인용 수 12

한 줄 요약

이 논문은 이질성과 이질성 하에서 덧셈 인덱스 모델에 대한 텐서 기반 방법의 모멘트 추정기를 제안하며, 데이터 차원 수를 초월하는 인덱스 수가 있는 경우에도 다중 인덱스를 추정할 수 있도록 한다. 주요 기여는 수렴 속도를 확립하고, 새로운 텐서 연산자 노름 농도 불등식을 도출하는 것으로, 이는 이론적 보장을 제공하면서도 과다완성 및 이질성 설정으로의 텐서 방법의 확장을 가능하게 한다.

ABSTRACT

Motivated by the sampling problems and heterogeneity issues common in high- dimensional big datasets, we consider a class of discordant additive index models. We propose method of moments based procedures for estimating the indices of such discordant additive index models in both low and high-dimensional settings. Our estimators are based on factorizing certain moment tensors and are also applicable in the overcomplete setting, where the number of indices is more than the dimensionality of the datasets. Furthermore, we provide rates of convergence of our estimator in both high and low-dimensional setting. Establishing such results requires deriving tensor operator norm concentration inequalities that might be of independent interest. Finally, we provide simulation results supporting our theory. Our contributions extend the applicability of tensor methods for novel models in addition to making progress on understanding theoretical properties of such tensor methods.

연구 동기 및 목표

• 표본 원천이 다양하고 데이터가 다수의 원천에서 통합되는 고차원적, 이질적인 빅데이터 환경에서의 추정 과제를 다루기.
• 데이터 차원 수를 초월하는 인덱스 수가 있는 경우(과다완성 설정) 덧셈 인덱스 모델에서 다중 인덱스 파라미터를 추정하는 방법을 개발하기.
• 모델의 이질성과 이질성 하에서 텐서 기반 추정에 대한 이론적 보장을 제공하기.
• 고차원 모멘트 텐서에 적용 가능한 새로운 텐서 연산자 노름 농도 불등식 유도하기.
• 잠재적이고 관측되지 않은 성분을 포함하는 새로운 통계 모델(예: 혼합 모델, 대응 검색 등)으로 텐서 분해 방법의 적용 범위 확장하기.

제안 방법

• 관측된 데이터로부터 생성된 고차원 모멘트 텐서를 사용하여 이질적인 덧셈 인덱스 모델의 인덱스를 추정하기 위한 방법의 모멘트 프레임워크 제안.
• 관측된 데이터로부터 구성된 고차원 모멘트 텐서를 분해하여 잠재의 인덱스 벡터 복원하기.
• 추정 오차를 제한하고 수렴 속도를 확립하기 위해 텐서 연산자 노름 농도 불등식을 사용하기.
• 희박한 벡터에 대해 경험적 텐서의 연산자 노름을 제어하기 위해 에psilon 넷 추론 적용하기.
• 인덱스 수 k가 데이터 차원 d를 초월하는 과다완성 설정을 처리하기 위해 k > d를 允허하기.
• 희박성 제약 조건을 r-희박 단위 벡터를 통해 통합하여 저차원 및 고차원 설정 모두에서 이론적 경계 유도하기.

실험 결과

연구 질문

• RQ1 인덱스 수가 데이터 차원 수를 초월할 경우, 텐서 방법을 덧셈 인덱스 모델에서 다중 인덱스를 추정하는 데로 확장할 수 있는가?
• RQ2 다양한 원천에서 유래한 데이터의 이질성과 이질성에 대응하여 텐서 기반 추정을 어떻게 강력하게 만들 수 있는가?
• RQ3 과다완성 및 고차원 설정에서 텐서 기반 추정기의 이론적 수렴 속도는 무엇인가?
• RQ4 고차원 모멘트 텐서의 연산자 노름 경계를 확립하기 위해 필요한 새로운 농도 불등식은 무엇인가?
• RQ5 잠재적이고 관측되지 않은 구성 요소를 포함하는 모델(예: 혼합 모델, 대응 검색 등)에 대해, 텐서 분해를 통한 방법의 모멘트 접근법을 적용할 수 있는가?

주요 결과

• 제안된 텐서 방법은 고차원 설정 하에서 확률적으로 O(√(r log d / n)) 및 O((r log d)^{5/2} / n)의 추정 오차 경계를 달성한다.
• 이전의 텐서 방법이 k ≤ d를 가정한 것과 달리, k > d인 과다완성 설정에서도 적용 가능하다.
• 새로운 텐서 연산자 노름 농도 불등식이 도출되었으며, 본 연구를 초월하여 독립적인 관심사가 될 수 있다.
• 희박성 r과 차원 d에 대한 명시적 의존성을 포함하여 저차원 및 고차원 설정 모두에서 수렴 속도를 확립하였다.
• 시뮬레이션 결과는 이론적 발견을 지지하며, 이질성과 이질성 하에서도 강력한 성능을 보여준다.
• 응답 변수가 잠재적이고 순서가 없는 인덱스 모델의 집합에 의존하는 경우에도 다중 인덱스 벡터를 성공적으로 복원한다.