[논문 리뷰] Risk and parameter convergence of logistic regression

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|2018. 03. 20.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 79

한 줄 요약

이 논문은 로지스틱/지수 손실에 대한 경사하강 경로를 특성화하여, 그 경로가 최대 마진 예측기와 제한된 오프셋으로 정의된 단일 광선으로 수렴함을 보이고, 위험과 매개변수에 대한 명시적 수렴 속도를 제시한다.

ABSTRACT

Gradient descent, when applied to the task of logistic regression, outputs iterates which are biased to follow a unique ray defined by the data. The direction of this ray is the maximum margin predictor of a maximal linearly separable subset of the data; the gradient descent iterates converge to this ray in direction at the rate $\mathcal{O}(\ln\ln t / \ln t)$. The ray does not pass through the origin in general, and its offset is the bounded global optimum of the risk over the remaining data; gradient descent recovers this offset at a rate $\mathcal{O}((\ln t)^2 / \sqrt{t})$.

연구 동기 및 목표

• 일반 데이터(강체 단일성 가정이 없는 경우 포함)에 대해 로지스틱 회귀의 경사하강 경로를 특성화한다.
• GD 반복이 수렴하는 광선은 최대 마진 방향과 보조 부분공간에서의 한정된 오프셋으로 구성됨을 식별한다.
• 위험 수렴 속도와 매개변수 수렴(암묵적 바이어스 및 암묵적 규제 포함)에 대한 명시적 수렴 속도를 제공한다.
• 데이터의 선형적으로 구분되는 부분과 강하게 볼록한 부분에서의 동작 차이를 구별한다.
• separable한 구성요소와 강하게 볼록한 구성요소를 분리하는 분해 프레임워크를 개발하고 수렴에 대한 기여를 분석한다.]
• method: [데이터 행렬 A를 그리디 구성을 사용해 최대 마진 예측기 ū를 가진 선형 구분 가능한 최대 부분집합 Z를 추출하는 S 및 S⊥ 하위공간으로 분해한다.
• 경사하강 반복 wj가 S⊥에서 방향적으로 ū로 수렴하고 S에 대한 투영이 S에서 유일한 v̄로 수렴하도록 하여 {v̄ + r ū : r ≥ 0} 형태의 광선을 형식화한다.
• 정밀하게 매끄러움 재구성 및 비교점 z = v̄ + (ln t)/γ · ū를 사용해 위험 수렴 경계를 확립하고, R(wt) − infw R(w) = O(1/t) 또는(step 크기에 따라) O((ln t)^2 / Σ ηj) 를 도출한다.
• g(Aw) = ln(L(Aw)) 또는 관련 볼록 대안들을 이용한 펜첼-영 프레임워크/이중성 가정으로 방향 성분을 한정하고 암묵적 바이어스 및 규제 결과를 도출한다.
• S에서의 v̄로의 매개변수 수렴과 S⊥에서의 ū로의 수렴을 각각 입증하기 위해 S의 강한 볼록성 활용 및 ln R를 사용한 국소 스무스성 포착(극端의 완만화)을 분석한다.
• A_c(구분가능)와 A_S(강하게 볼록) 간의 교차 항은 신중한 투영 및 경계 분석을 통해 처리하며, 퍼셉트론에서 영감을 얻은 성장 한계의 경계도 포함한다.]
• research_questions: [일반 데이터에 대해 로지스틱 회귀의 경사하강 경로를 지배하는 암묵적 기하구조는 무엇인가?
• GD 반복이 강한 볼록 부분의 안정적 오프셋과 구분 가능한 부분의 최대 마진 구분자 방향으로 어떻게 분해되는가?
• 경험적 위험 및 매개변수 벡터의 수렴 속도는 암묵적 바이어스 및 규제 효과를 포함하여 무엇인가?
• 데이터의 구분 가능성과 강하게 볼록한 구성요소로의 분할이 수렴 광선의 존재 여부 및 특성에 어떻게 영향을 미치는가?
• 다양한 스텝크기 regime에서 위험과 방향 모두에서 반복의 성장 및 수렴을 어떻게 상한/하한으로 제시할 수 있는가?]
• key_findings: [경사하강은 {v̄ + r ū : r ≥ 0}라는 독특한 광선을 따르는 경향이 있으며, ū는 선형적으로 구분 가능한 부분의 최대 마진 예측기이고 v̄는 나머지 데이터에서의 최적점이다.
• ηj가 적절히 선택되면 경험적 위험은 스텝 크기에 따라 O(1/t) 또는 O((ln t)^2 / √t) 속도로 수렴하며, v̄와 γ(구분 가능한 마진)와 관련된 정확한 경계를 가진다.
• wj/|wj|의 방향은 S⊥에서 ū로 수렴하고, ΠS wj의 투영은 S에서 v̄로 수렴하여 경사 경로를 따라 암묵적 바이어스 및 암묵적 규제를 확립한다.
• S와 S⊥로의 데이터 분해는 고유하며, S는 강하게 볼록한 동작을 포착하고 S⊥는 선형 구분 가능한 동작을 포착한다; 교차 데이터 투영이 수렴 속도와 점근치를 결정한다.
• LG/EXP 손실 분석은 명시적 상수 및 γ, |v̄|, ln t 요인에 대한 의존성을 포함한 유사한 정성적 수렴을 보인다.
• 분리 가능한 데이터와 일반(혼합) 데이터 설정 모두에서 수렴 결과가 성립하며, A_c가 비비어 있지 않거나 A_S가 유한 집합에서 강하게 볼록한 경우도 포함된다.]
• table_headers: []
• table_rows: []}{
• table_headers: []
• table_rows: []} {
• } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }
• error_flag_or_placeholder
• string

제안 방법

• 데이터 행렬 A를 S 및 S⊥ 하위공간으로 분해하여 최대 마진 예측기 ū를 갖는 최대 구분 가능한 부분집합 Z를 분리하는 그리디 구성으로 분해한다.

실험 결과

연구 질문

• RQ1 ...

주요 결과

• ...