[論文レビュー] Shape-Enforcing Operators for Point and Interval Estimators

Xi Chen, Victor Chernozhukov+3 more|arXiv (Cornell University)|Jan 1, 2018

Efficiency Analysis Using DEA被引用数 3

ひとこと要約

本稿は、一般化された点推定および区間推定に対して、単調性、凸性、範囲制約などの形状制約を形状強制作用素を用いて後処理で強制するフレームワークを提案する。この手法により、有限標本における性能が向上し、形状強制推定値が真の関数に近づき、区間推定の被覆確率が向上し長さが短くなる。6つの主要作用素（再配置、レジェンドル＝フェンヒェル変換、および新規の擬凸性作用素）に対して理論的保証が与えられる。

ABSTRACT

A common problem in econometrics, statistics, and machine learning is to estimate and make inference on functions that satisfy shape restrictions. For example, distribution functions are nondecreasing and range between zero and one, height growth charts are nondecreasing in age, and production functions are nondecreasing and quasi-concave in input quantities. We propose a method to enforce these restrictions ex post on point and interval estimates of the target function by applying functional operators. If an operator satisfies certain properties that we make precise, the shape-enforced point estimates are closer to the target function than the original point estimates and the shape-enforced interval estimates have greater coverage and shorter length than the original interval estimates. We show that these properties hold for six different operators that cover commonly used shape restrictions in practice: range, convexity, monotonicity, monotone convexity, quasi-convexity, and monotone quasi-convexity. We illustrate the results with two empirical applications to the estimation of a height growth chart for infants in India and a production function for chemical firms in China.

研究の動機と目的

• 経済学、統計学、機械学習分野において、任意の初期点推定または区間推定に対して形状制約を強制する汎用的で後処理型の手法を開発すること。
• 成長チャートにおける単調性や生産関数における準凹性といった、科学的に根拠のある形状制約を満たさないことがよくある非制約推定の問題に対処すること。
• 形状強制推定値が真の関数との距離を小さくし、区間の被覆確率を向上させ、長さを短くすることで、有限標本における性能を向上させること。
• パラメトリック、半パラメトリック、ノンパラメトリック推定器、および滑らかさや構造的スパarsityを利用した最新の手法を含む、あらゆる推定器に適用可能な統一フレームワークを提供すること。
• 経済的応用で頻出するが、これまであまり研究されていなかった擬凸性という形状制約を強制する、新規の作用素を導入することで、既存手法を拡張すること。

提案手法

• 単調性再配置、二重レジェンドル＝フェンヒェル変換、および新規の擬凸性作用素を含む関数的作用素を、非制約推定に対して後処理として適用し、形状制約を強制する。
• 作用素は4つの主要な性質を満たすように設計されている：形状再構成（出力が形状制約を満たす）、不変性（固定点は変化しない）、順序保存性（f ≤ g ならば O(f) ≤ O(g) となる）、距離低減性（ℓ∞-ノルムにおける真の関数との距離を小さくする）。
• フレームワークは頻度的信頼区間とベイズ的信用領域の両方に対応でき、範囲 + 単調性や凸性など、複数の制約を同時に強制するために他の作用素と合成可能である。
• 初期推定手法に依存しない。滑らかさや構造的スパarsityを利用したパラメトリック、半パラメトリック、ノンパラメトリック、機械学習推定器すべてに適用可能である。
• 収縮写像の議論を用いて理論的保証を導出し、合成作用素がℓ∞-ノルムにおいて距離低減性を満たすことを示した。
• 凹性、準凹性、関数の変換に対しても拡張可能であり、さまざまな関数形に広く適用可能であることを保証している。

実験結果

リサーチクエスチョン

• RQ1 形状制約（単調性、凸性など）を強制することで、非制約推定の有限標本性能を汎用的な後処理フレームワークで改善できるか？
• RQ2 形状強制作用素は、推定関数と真の関数との距離を体系的に小さくし、区間の被覆確率を向上させ、長さを短くするか？
• RQ3 経済的応用でよく見られるが、これまであまり研究されていなかった擬凸性を強制する新規作用素を開発できるか？
• RQ4 形状再構成、不変性、順序保存性、距離低減性という4つの性質が、単体の作用素およびその組み合わせに対して、どの程度成立するか？
• RQ5 実世界のデータ（例：インドの乳児成長データ、中国の化学メーカーの生産関数）に適用した場合、この手法はどの程度の性能を示すか？

主な発見

• 作用素の距離低減性により、ℓ∞-ノルムにおいて形状強制点推定値は元の推定値よりも真の関数に近づく。
• 形状強制区間推定値は、元の区間と比較して被覆確率が高く、長さが短くなるため、信頼性と精度が向上する。
• 範囲、単調性、凸性、単調凸性、擬凸性、単調擬凸性の6つのコア作用素は、すべての4つの主要性質（形状再構成、不変性、順序保存性、距離低減性）を満たす。
• 合成作用素（例：再配置の後にレジェンドル＝フェンヒェル変換を適用）は単調性を保持するため、凸性を強制しても単調性が損なわれない。
• 本手法は普遍的適用可能であり、任意の初期推定器（特に最新のノンパラメトリックおよび機械学習手法を含む）に適用可能で、それらの収束速度を引き継ぎつつ、有限標本における性能を明示的に改善する。
• インドの乳児成長データおよび中国の化学メーカー生産関数への実応用により、手法の実用的有用性と、形状適合性および推定精度の向上が実証された。