[논문 리뷰] Analysis of Information Transfer from Heterogeneous Sources via Precise High-dimensional Asymptotics

Fan Yang, Hongyang R. Zhang외 3명|arXiv (Cornell University)|2020. 10. 22.

Stochastic Gradient Optimization Techniques참고 문헌 52인용 수 4

한 줄 요약

이 논문은 공유 파라미터를 가진 이중층 선형 신경망을 사용하여 이질적 작업 간의 정보 전이를 분석하며, 표본 크기가 특징 차원과 비례하여 증가함에 따라 예측 리스크의 정확한 고차원 점근적 성질을 도출한다. 데이터 크기 비율에 따라 정확한 조건을 도출하여 정/부정 전이가 발생하는 조건을 규명하고, 모델 이탈 하에서 비단조화적 리스크 곡선을 규명하며, 텍스트 분류 작업에서 점진적 데이터 추가 전략을 검증한다.

ABSTRACT

We consider the problem of learning -- gaining knowledge from one source task and applying it to a different but related target task. A fundamental question in learning is whether combining the data of both tasks works better than using only the target task's data (equivalently, whether a information transfer happens). We study this question formally in a linear regression setting where a two-layer linear neural network estimator combines both tasks' data. The estimator uses a shared parameter vector for both tasks and exhibits positive or negative information by varying dataset characteristics. We characterize the precise asymptotic limit of the prediction risk of the above estimator when the sample sizes increase with the feature dimension proportionally at fixed ratios. We also show that the asymptotic limit is sufficiently accurate for finite dimensions. Then, we provide the exact condition to determine positive (and negative) information in a random-effect model, leading to several theoretical insights. For example, the risk curve is non-monotone under model shift, thus motivating a learning procedure that progressively adds data from the source task. We validate this procedure's efficiency on text classification tasks with a neural network that applies a shared feature space for both tasks, similar to the above estimator. The main ingredient of the analysis is finding the high-dimensional asymptotic limits of various functions involving the sum of two independent sample covariance matrices with different population covariance matrices, which may be of independent interest.

연구 동기 및 목표

• 원천 및 대상 작업의 데이터를 조합하는 것이 뿐만 아니라 대상 데이터만 사용하는 것보다 예측 성능을 향상시키는지 공식적으로 판단하는 것.
• 공유 파라미터를 가진 이중층 선형 신경망 추정기의 정확한 점근적 예측 리스크를 특징화하는 것.
• 랜덤 효과 모델에서 정보 전이가 정 또는 부정이 되는 정확한 조건을 규명하는 것.
• 모델 이탈과 비단조화적 리스크 행동에 적응하는 점진적 데이터 추가 학습 절차를 개발하고 검증하는 것.
• 다른 인구 구조를 가진 독립적 표본 공분산 행렬의 합을 포함하는 함수의 고차원 점근적 극한을 도출하는 것.

제안 방법

• 원천 및 대상 작업 간에 공유 파라미터 벡터를 사용하는 이중층 선형 신경망 추정기를 사용한 선형 회귀 프레임워크에서 학습 문제를 수식화하는 것.
• 표본 크기와 특징 차원이 고정된 비율로 비례 증가하는 고차원 점근적 조건에서 예측 리스크를 분석하는 것.
• 서로 다른 인구 공분산 행렬을 가진 두 개의 독립적 표본 공분산 행렬의 합을 포함하는 함수에 대한 정확한 점근적 극한을 도출하는 것.
• 랜덤 행렬 이론 도구를 사용하여 다양한 데이터 세트 특성 하에서 추정기 리스크의 점근적 행동을 특징화하는 것.
• 관측된 비단조화적 리스크 곡선에 기반하여 원천 작업 데이터를 점진적으로 추가하는 점진적 학습 절차를 제안하는 것.
• 이론적 추정기의 특성을 모방하는 공유 특징 공간을 가진 신경망을 사용하여 텍스트 분류 작업에서 제안된 절차를 검증하는 것.

실험 결과

연구 질문

• RQ1 원천 및 대상 작업 데이터를 조합할 때, 뿐만 아니라 대상 데이터만 사용하는 것보다 성능 향상이 이루어지는 조건은 무엇인가?
• RQ2 특징 수와 표본 수가 비례하여 증가함에 따라 공유 파rameter 선형 추정기의 예측 리스크는 어떻게 점근적으로 행동하는가?
• RQ3 이질적 데이터를 가진 랜덤 효과 모델에서 정보 전이가 정 또는 부정이 되는 것은 무엇에 의해 결정되는가?
• RQ4 모델 이탈은 리스크 곡선에 어떤 영향을 미치며, 이를 바탕으로 더 나은 학습 절차를 설계할 수 있는가?
• RQ5 유도된 점근적 극한이 실용적 설정에서 유한 차원 행동을 얼마나 정확하게 반영하는가?

주요 결과

• 모델 이탈 하에서 원천 작업 데이터 크기에 따라 공유 파rameter 추정기의 예측 리스크는 비단조화적 의존성을 보이며, 이는 데이터를 추가한다고 해서 항상 성능 향상이 이루어지는 것은 아님을 시사한다.
• 원천 작업과 대상 작업의 상대적인 고유구조 및 표본 크기에 따라 정 또는 부정 정보 전이가 발생하는 정확한 조건이 도출되었다.
• 점근적 리스크 극한이 유한 차원 설정에서도 매우 정확한 것으로 입증되어 이론적 근사의 타당성이 검증되었다.
• 비단조화적 리스크 곡선은 유해한 원천 데이터 기여를 피하면서 일반화 성능을 향상시키는 점진적 데이터 추가 전략을 동기화하는 데 기여한다.
• 다른 인구 구조를 가진 두 개의 독립적 표본 공분산 행렬의 합에 대한 이론적 분석은 랜덤 행렬 이론 분야에서 별도의 관심을 끄는 결과를 도출한다.
• 텍스트 분류 작업에서의 실증적 검증을 통해 점진적 학습 절차의 효과성이 확인되었으며, 단순한 데이터 조합 방식보다 뛰어난 성능을 보였다.