[論文レビュー] ValiText -- a unified validation framework for computational text-based measures of social constructs

Lukas Birkenmaier, Claudia Wagner+1 more|arXiv (Cornell University)|Jul 6, 2023

Computational and Text Analysis Methods被引用数 7

ひとこと要約

ValiText は、社会的構概念の計算的テキストベースの測定値を統合的に検証するためのフレームワークであり、社会科学的妥当性理論と実証的レビューに基づいている。研究者が内容的・構造的・外部的妥当性証拠をチェックリストと文書シートを用いて体系的に確立できるように支援し、テキストからの抽象的で社会的概念の測定における厳密さと一貫性を高める。

ABSTRACT

Guidance on how to validate computational text-based measures of social constructs is fragmented. While researchers generally acknowledge the importance of validating text-based measures, they often lack a shared vocabulary and a unified framework to do so. This paper introduces ValiText, a new validation framework designed to assist scholars in validly measuring social constructs in textual data. The framework is built on a conceptual foundation of validity in the social sciences, strengthened by an empirical review of validation practices in the social sciences and consultations with experts. Ultimately, ValiText prescribes researchers to demonstrate three types of validation evidence: substantive evidence (outlining the theoretical underpinning of the measure), structural evidence (examining the properties of the text model and its output) and external evidence (testing for how the measure relates to independent information). The framework is further supplemented by a checklist of validation steps, offering practical guidance in the form of documentation sheets that guide researchers in the validation process.

研究の動機と目的

• 計算的テキストベースの社会的構概念の測定における分散的かつ一貫性のない検証手法の問題に対処すること。
• 社会科学研究におけるテキストベースの測定値の検証に向けた共通の語彙と構造的アプローチを提供すること。
• 社会科学の妥当性理論と実証的検証実践を統合することで、研究手法の厳密性を高めること。
• 標準化されたツールを通じて、研究者が検証プロセスを体系的に文書化・正当化できるように支援すること。
• テキストデータからの抽象的で社会的概念の測定における透明性、再現可能性、防御可能性を促進すること。

提案手法

• フレームワークは、社会科学における三重妥当性モデル（内容的・構造的・外部的証拠）に基づいている。
• 社会科学研究における検証実践に関する実証的レビューの知見を統合している。
• 研究手法の妥当性と実用性を確保するための専門家によるコンサルテーションを組み込んでいる。
• 研究者が検証プロセスの各段階を体系的かつ的確に進めるための標準化された検証ステップチェックリストを導入している。
• 研究者が検証意思決定を体系的に記録・正当化できる文書シートを提供している。
• フレームワークは、多様な社会的構概念やテキスト解析手法に適応可能に設計されている。

実験結果

リサーチクエスチョン

• RQ1 研究者が、研究手法の厳密性を保証する形で、計算的テキストベースの社会的構概念の測定値を体系的に検証する方法は何か？
• RQ2 テキストから抽象的で社会的構概念を測定する際、内容的・構造的・外部的妥当性のどのコアな要素を検証に組み込むべきか？
• RQ3 統合的フレームワークは、異なる研究分野における検証実践の整合性と透明性をどのように向上させ得るか？
• RQ4 研究者が測定プロセス全体を通じて検証証拠を文書化・正当化するのを支援する実用的ツールは何か？
• RQ5 計算的社会科学の研究者にとって理論的に根拠があり、実務的に実行可能な形で設計された検証フレームワークはどのように構築されるべきか？

主な発見

• ValiText は、テキストベースの測定値の内容的・構造的・外部的妥当性証拠を統合した包括的で理論的根拠のあるフレームワークを提供する。
• フレームワークは、透明性と再現性を高める実用的チェックリストと文書シートによって支援されている。
• 実証的レビューと専門家のコンサルテーションにより、フレームワークが確立された社会科学的検証原則と整合していることが検証された。
• フレームワークにより、研究者が測定値を体系的に正当化できるようになり、恣意的な検証手法の使用が減少した。
• 検証ステップを標準化することで、ValiText は計算的テキスト解析応用分野におけるより防御的で比較可能な研究を支援する。
• フレームワークは、拡張可能であり、多様な社会的構概念や自然言語処理（NLP）の手法に適用可能に設計されている。