[논문 리뷰] ValiText -- a unified validation framework for computational text-based measures of social constructs

Lukas Birkenmaier, Claudia Wagner외 1명|arXiv (Cornell University)|2023. 07. 06.

Computational and Text Analysis Methods인용 수 7

한 줄 요약

ValiText는 사회과학 유효성 이론과 실증적 검토에 기반한 통합 검증 프레임워크로, 텍스트 기반 사회적 개념 측정치의 타당성을 확보하기 위한 것이다. 연구자가 실질적, 구조적, 외부적 검증 근거를 점검할 수 있도록 체크리스트와 문서화 시트를 제공함으로써, 텍스트에서 추상적인 사회적 개념을 측정하는 데 있어 체계성과 엄밀함을 향상시킨다.

ABSTRACT

Guidance on how to validate computational text-based measures of social constructs is fragmented. While researchers generally acknowledge the importance of validating text-based measures, they often lack a shared vocabulary and a unified framework to do so. This paper introduces ValiText, a new validation framework designed to assist scholars in validly measuring social constructs in textual data. The framework is built on a conceptual foundation of validity in the social sciences, strengthened by an empirical review of validation practices in the social sciences and consultations with experts. Ultimately, ValiText prescribes researchers to demonstrate three types of validation evidence: substantive evidence (outlining the theoretical underpinning of the measure), structural evidence (examining the properties of the text model and its output) and external evidence (testing for how the measure relates to independent information). The framework is further supplemented by a checklist of validation steps, offering practical guidance in the form of documentation sheets that guide researchers in the validation process.

연구 동기 및 목표

• 계산 기반 텍스트 기반 사회적 개념 측정치의 분산되고 일관성 없는 검증 관행을 해결하기 위해.
• 사회과학 연구에서 텍스트 기반 측정치의 검증을 위한 공통된 어휘와 체계적인 접근법을 제공하기 위해.
• 사회과학의 유효성 이론을 실증적 검증 관행과 융합함으로써 방법론적 엄밀함을 강화하기 위해.
• 표준화된 도구를 통해 연구자가 검증 과정을 체계적으로 기록하고 정당화할 수 있도록 지원하기 위해.
• 추상적인 사회적 개념을 텍스트 데이터로부터 측정하는 데 있어 투명성, 재현 가능성, 정당성 확보를 위해.

제안 방법

• 사회과학에서의 삼중 유효성 모델(실질적, 구조적, 외부 근거)을 기반으로 프레임워크를 구축하였다.
• 사회과학 연구에서의 검증 관행에 대한 실증적 검토에서 도출된 통찰을 통합하였다.
• 방법론적 타당성과 실용적 적용 가능성을 확보하기 위해 전문가 자문을 통합하였다.
• 연구자가 검증 과정의 각 단계를 안내하기 위해 표준화된 검증 단계 체크리스트를 도입하였다.
• 연구자가 검증 결정을 체계적으로 기록하고 정당화할 수 있도록 문서화 시트를 제공하였다.
• 다양한 사회적 개념과 텍스트 분석 방법에 적합하도록 유연하게 적용 가능한 프레임워크로 설계되었다.

실험 결과

연구 질문

• RQ1 연구자가 계산 기반 텍스트 기반 사회적 개념 측정치를 체계적으로 검증함으로써 방법론적 엄밀함을 확보할 수 있는 방법은 무엇인가?
• RQ2 텍스트에서 추상적인 사회적 개념을 측정할 때 고려해야 할 핵심 유효성 구성 요소(실질적, 구조적, 외부)는 무엇인가?
• RQ3 통합 프레임워크는 다양한 연구 분야 간 검증 관행의 일관성과 투명성을 어떻게 향상시킬 수 있는가?
• RQ4 연구자가 측정 과정 전반에 걸쳐 검증 근거를 기록하고 정당화하는 데 도움이 되는 실용적 도구는 무엇인가?
• RQ5 계산 사회과학 연구자들이 실제로 활용할 수 있도록 이론적으로 탄탄하면서도 실천 가능하도록 설계된 검증 프레임워크는 어떻게 구성되어야 하는가?

주요 결과

• ValiText는 텍스트 기반 측정치의 실질적, 구조적, 외부적 검증 근거를 통합한 체계적이고 이론에 기반한 프레임워크를 제공한다.
• 프레임워크는 투명성과 재현 가능성을 향상시키기 위해 실용적인 체크리스트와 문서화 시트를 지원한다.
• 실증적 검토와 전문가 자문을 통해 프레임워크가 기존 사회과학 검증 원칙과 잘 부합한다는 것이 검증되었다.
• 연구자가 측정치를 체계적으로 정당화할 수 있도록 하여 일시적인 검증 관행을 줄였다.
• 검증 단계를 표준화함으로써 ValiText는 계산 기반 텍스트 분석 응용 분야 간 더 타당하고 비교 가능한 연구를 지원한다.
• 프레임워크는 다양한 사회적 개념과 NLP 방법론에 확장 가능하고 적용 가능하도록 설계되었다.