[논문 리뷰] The User Feedback on SentiWordNet

Andrea Esuli|arXiv (Cornell University)|2013. 06. 06.

Semantic Web and Ontologies참고 문헌 2인용 수 5

한 줄 요약

이 논문은 SentiWordNet 3.0이라는 어휘 자원에서 단어집합에 감성 점수(긍정성, 부정성, 객관성)를 부여하는 자원에 대한 사용자 피드백을 수집, 익명화하고 공개한다. 피드백은 재설계된 웹 인터페이스와 다운로드 포털을 통해 수집되었으며, 1,209개의 고유한 IP 주소에서 유입된 제안된 감성 삼중항을 포함하며, 원본 값과 일치하는 비율이 63.7%이며, CC BY-SA 3.0 라이선스 하에 공개되어 향후 자원 개선과 공공 사용을 위해 활용 가능하다.

ABSTRACT

With the release of SentiWordNet 3.0 the related Web interface has been restyled and improved in order to allow users to submit feedback on the SentiWordNet entries, in the form of the suggestion of alternative triplets of values for an entry. This paper reports on the release of the user feedback collected so far and on the plans for the future.

연구 동기 및 목표

• 자동으로 생성된 감성 점수의 정확도를 향상시키기 위해 SentiWordNet 항목에 대한 사용자 피드백을 수집하고 보존하는 것.
• WHOIS 조회를 통해 지리적 메타데이터를 유지하면서 IP 주소를 익명화하여 개인정보 보호 문제를 해결하는 것.
• 사용자 인터페이스를 재설계하여 실수나 낮은 노력의 확인을 줄임으로써 피드백 품질을 향상시키는 것.
• 미래 분석과 품질 평가를 위해 피드백 원천(검색 vs. 다운로드 인터페이스)을 구분하는 것.
• 연구 및 감성 어휘 사전 개선을 지원하기 위해 개방형 라이선스 하에 피드백 데이터를 공개하는 것.

제안 방법

• 심셋 페이지에 '피드백!' 단추를 추가하고, 보다 나은 감성 삼중항 제안을 위한 피드백 대화상자를 제공하는 재설계된 웹 인터페이스를 구현했다.
• 피드백 수집을 두 가지 소스에서 수행: 상호작용식 검색 인터페이스와 다운로드 페이지로, 다운로드 링크 앞에 피드백 대화상자를 노출시켰다.
• IP 주소를 고유 식별자로 대체하고, WHOIS 기반 지리적 위치 정보를 추가하면서 정확한 타임스탬프는 제거하여 사용자 익명화를 수행했다.
• 탭으로 분리된 필드를 포함한 구조화된 피드백 항목을 정의: 순차 ID, 심셋 ID, 품사, 원본 및 사용자 제출 감성 점수(긍정성, 부정성), 날짜, 익명화된 IP, 국가 코드, 단어의미 쌍.
• 피드백 항목이 적은 심셋을 우선순위로 배정하는 피드백 라우팅 메커니즘을 구현하여 제출 수를 균일하게 분포시키는 것을 목표로 하였다.
• 실수 확인을 줄이기 위해, 원본 값을 확인하는 단추와 다른 삼중항을 제출하는 단추를 별도로 두어 인터페이스를 재설계하였다.

실험 결과

연구 질문

• RQ1 자동으로 생성된 감성 점수에 대한 사용자 피드백을 대규모로 수집하면서도 사용자 개인정보를 보호할 수 있는 방법은 무엇인가?
• RQ2 SentiWordNet에 대한 피드백 제출의 분포와 지리적 기원은 어떻게 되며, 시간에 따라 어떻게 변화하는가?
• RQ3 사용자의 대부분은 원본 SentiWordNet 삼중항을 확인하는가, 아니면 다른 감성 값을 제안하는가?
• RQ4 다른 피드백 수집 인터페이스(검색 vs. 다운로드)는 사용자 기여의 품질과 의도에 어떤 영향을 미치는가?
• RQ5 저투자 또는 중복 제출을 줄이기 위해 피드백 수집 프로세스에 어떤 개선을 가질 수 있는가?

주요 결과

• 총 3,510개의 피드백 항목이 1,209개의 고유한 IP 주소에서 수집되었으며, 일일 평균 약 3.5건의 제출이 이루어졌다.
• 피드백 항목의 63.7% (2,236건)가 원본 SentiWordNet 삼중항과 정확히 일치하여, 높은 정확도 또는 낮은 노력의 확인이 가능할 수 있음을 시사한다.
• 피드백은 72개 국가에서 유입되었으며, 미국(106건), 중국(157건), 독일(115건)에서 가장 많은 제출을 기록했고, 350개의 IP는 지리적 위치를 확인할 수 없었다.
• 피드백 제출 패턴은 2013년 초에 정점에 도달했으며, 2013년 2월에 530건의 제출이 기록되어 사용자 참여가 급격히 증가한 것으로 나타났다.
• 피드백 분포는 힘의 법칙을 따르며, 522개의 IP가 2건씩 제출했고, 153개는 5건씩 제출했으며, 유일하게 200건을 제출한 IP는 1개 뿐이었다. 이는 소수의 매우 활동적인 기여자가 대부분을 차지하고 있음을 의미한다.
• 실수 확인을 줄이고 피드백 품질을 향상시키기 위해, 확인 대화상자와 이중 피드백 단추를 도입한 인터페이스 변경 조치를 시행하였다.