[논문 리뷰] Opinion Mining for Relating Subjective Expressions and Annual Earnings in US Financial Statements

Chien-Liang Chen, Chao-Lin Liu외 2명|arXiv (Cornell University)|2012. 10. 14.

Stock Market Forecasting Methods인용 수 10

한 줄 요약

이 논문은 미국의 10-K 재무 공시문에서 주관적 표현을 식별하고 연간 수익성과 연결하기 위해 조건부 랜덤 필드(CRF) 기반의 의견 마이닝 모델을 제안한다. 단일 어휘가 아닌 다어휘 표현(MWEs)을 분석함으로써, 경영진이 부정적인 수익을 은폐하고 긍정적인 결과를 강조하기 위해 더 낙관적인 언어를 사용하는 것으로 드러났으며, 수익 감소 시에는 모호하고 부드러운 표현이 자주 등장하고, 수익 증가 시에는 확신 있는 긍정적 언어가 사용된다.

ABSTRACT

Financial statements contain quantitative information and manager's subjective evaluation of firm's financial status. Using information released in U.S. 10-K filings. Both qualitative and quantitative appraisals are crucial for quality financial decisions. To extract such opinioned statements from the reports, we built tagging models based on the conditional random field (CRF) techniques, considering a variety of combinations of linguistic factors including morphology, orthography, predicate-argument structure, syntax, and simple semantics. Our results show that the CRF models are reasonably effective to find opinion holders in experiments when we adopted the popular MPQA corpus for training and testing. The contribution of our paper is to identify opinion patterns in multiword expressions (MWEs) forms rather than in single word forms. We find that the managers of corporations attempt to use more optimistic words to obfuscate negative financial performance and to accentuate the positive financial performance. Our results also show that decreasing earnings were often accompanied by ambiguous and mild statements in the reporting year and that increasing earnings were stated in assertive and positive way.

연구 동기 및 목표

• 미국 10-K 재무 보고서의 주관적 표현이 실제 연간 수익성과 어떻게 관련되어 있는지 분석하는 것.
• 복잡한 재무 서사에서 의견 주체와 정서를 탐지할 수 있는 강력한 의견 마이닝 시스템을 개발하는 것.
• 단일 어휘가 아닌 다어휘 표현(MWEs)에 초점을 두어 미묘한 경영진 언어를 포착하는 것.
• 재무 성과 추세와 관련된 주관적 언어의 언어학적 패턴을 조사하는 것.
• 경영진의 논의 톤이 재무 결과를 전략적으로 모호하게 만들거나 강조하는지를 평가하는 것.

제안 방법

• 연구는 재무 텍스트에서 의견 표현의 시퀀스 레이블링을 모델링하기 위해 조건부 랜덤 필드(CRF)를 사용한다.
• 형태학, 철자법, 술어-주어관계 구조, 문법, 기본 의미학적 특징 등 다양한 언어학적 특징을 CRF 모델에 통합한다.
• 모델은 MPQA 코퍼스를 활용해 훈련 및 평가되며, 이는 전이 학습을 위해 애너테이션된 의견 표현을 활용한다.
• 이 접근법은 다어휘 표현(MWEs)을 통해 맥락적으로 풍부한 주관적 언어를 포착하기 위해 의견 주체와 정서를 식별하는 데 중점을 둔다.
• 다양한 구성 방식으로 언어학적 특징을 조합하여 태깅 성능에 미치는 영향을 평가한다.
• 시스템은 10-K 공시문에 적용되어 수익 데이터와 관련된 주관적 문장을 추출하고 분석한다.

실험 결과

연구 질문

• RQ1 10-K 공시문의 주관적 표현은 실제 연간 수익성과 어떻게 관련되어 있는가?
• RQ2 경영진은 얼마나 많은 정도로 낙관적인 언어를 사용하여 부정적인 재무 결과를 은폐하는가?
• RQ3 상승과 하락 수익에 따라 주관적 문장에서 감지 가능한 언어학적 패턴의 차이가 있는가?
• RQ4 CRF 모델은 재무 서사에서 의견 주체와 정서를 식별하는 데 얼마나 효과적인가?
• RQ5 다어휘 표현(MWEs)은 재무 공시에서 단일 어휘보다 더 의미 있는 정서를 전달하는가?

주요 결과

• 경영진은 부정적인 재무 성과를 은폐하고 긍정적인 결과를 강조하기 위해 더 낙관적인 언어를 자주 사용한다.
• 수익 감소 시에는 보고 연도에 일반적으로 모호하고 부드러운 주관적 표현이 동반된다.
• 수익 증가 시에는 서사에서 확신 있는 긍정적 언어로 묘사되는 경향이 있다.
• MPQA 코퍼스를 기반으로 훈련된 CRF 기반 모델은 의견 주체 식별에 합리적인 효과를 보였다.
• 다어휘 표현(MWEs)은 단일 어휘보다 경영진의 정서와 전략적 톤을 더 잘 포착할 수 있다.
• 구문, 의미학 및 형태학적 특징의 통합은 재무 텍스트에서 의견 있는 표현 탐지에 도움이 된다.