[論文レビュー] Convex and Non-convex Approaches for Statistical Inference with Class-Conditional Noisy Labels

Hyebin Song, Ran Dai+2 more|arXiv (Cornell University)|Oct 5, 2019

Advanced Statistical Methods and Models被引用数 4

ひとこと要約

本稿では、クラス条件付きラベルノイズ下でのロジスティック回帰に対する凸および非凸推定手法を提案し、真のラベルが潜在変数である一般化線形モデルとして問題を定式化する。高次元において漸近正規性およびミニマックス最適な $β$-一貫性を確立し、非凸最尤推定量はより低い漸近的分散と弱い条件下でのグローバル収束を達成する。

ABSTRACT

We study the problem of estimation and testing in logistic regression with class-conditional noise in the observed labels, which has an important implication in the Positive-Unlabeled (PU) learning setting. With the key observation that the label noise problem belongs to a special sub-class of generalized linear models (GLM), we discuss convex and non-convex approaches that address this problem. A non-convex approach based on the maximum likelihood estimation produces an estimator with several optimal properties, but a convex approach has an obvious advantage in optimization. We demonstrate that in the low-dimensional setting, both estimators are consistent and asymptotically normal, where the asymptotic variance of the non-convex estimator is smaller than the convex counterpart. We also quantify the efficiency gap which provides insight into when the two methods are comparable. In the high-dimensional setting, we show that both estimation procedures achieve $\\ell_2$-consistency at the minimax optimal $\\sqrt{s\\log p/n}$ rates under mild conditions. Finally, we propose an inference procedure using a de-biasing approach. We validate our theoretical findings through simulations and a real-data example.

研究の動機と目的

• 観測ラベルがクラス条件付きノイズによって汚染される状況におけるロジスティック回帰の統計的推論を扱う。これは、Positive-Unlabeled (PU) 学習における主要な課題である。
• 理論的最適性と計算可能性のギャップを、凸および非凸推定戦略の比較によって埋める。
• 低次元では一貫性および漸近正規性を確立し、高次元では $β$-一貫性をミニマックス最適レートで達成する。
• バイアス補正手順を開発し、ラベルノイズ下でも有効な推論（例：信頼区間、p値）を可能にする。
• 非凸尤度に基づく推定量のグローバル収束に関する理論的保証を提供し、先行研究で一般的に見られる局所最適解の問題を克服する。

提案手法

• 真のラベルが特徴量とは独立して非対称な確率で確率的に破損するクラス条件付きノイズ汚染プロセスとしてラベルノイズをモデル化する。
• 潜在的真のラベルを有する一般化線形モデル（GLM）として問題を定式化し、尤度に基づく推論を可能にする。
• 弱い正則性条件の下で高確率でグローバル収束を達成する非凸最尤推定量（MLE）を提案する。
• 計算の実行可能性を保証し、効率的な最適化を可能にするため、代理損失関数を用いた凸緩和を導入する。
• 正則化推定量に対してバイアス補正技術を適用し、有効な推論が可能な漸近正規推定量を構築する。
• ノード単位のラッソ回帰を用いてフィッシャー情報行列の近似逆行列を構築し、高次元における集中不等式を活用する。

実験結果

リサーチクエスチョン

• RQ1 非凸最尤推定は、クラス条件付きラベルノイズ下でグローバル収束と最適な統計的効率性を達成できるか？
• RQ2 低次元設定において、凸推定量と非凸推定量の漸近的分散はどのように比較できるか？
• RQ3 $β$-正則化下での高次元における凸および非凸アプローチの推定レートは何か？
• RQ4 バイアス補正手順により、ラベルノイズ下でも漸近正規推定量が得られ、有効な推論（例：信頼区間）が可能になるか？
• RQ5 凸推定量と非凸推定量の間の効率性の差は何か？実務ではどのような状況で両者が同等になるか？

主な発見

• 低次元では、凸推定量および非凸推定量の両方が一貫性および漸近正規性を示し、非凸推定量はより小さい漸近的分散を達成する。
• 両推定量間の効率性の差が明確に定量化され、同一条件下で非凸アプローチが厳密に高い効率性を示すことが示された。
• 高次元では、弱い正則性条件のもとで、両推定量が $\sqrt{s\log p/n}$ のミニマックス最適レートで $β$-一貫性を達成する。
• バイアス補正手順により漸近正規推定量が得られ、信頼区間や仮説検定などの有効な推論が可能になる。
• 非凸MLEは高確率でグローバル収束を達成し、先行研究でしばしば保証されなかったグローバル最適解の問題を解決した。
• ノード単位のラッソを用いて構築されたフィッシャー情報行列の近似逆行列は、$\ell_1$ および $\ell_2$ ノルムで一貫性を示し、バイアス補正フレームワークを支持する。