[논문 리뷰] 205.2 Off-Topic Memento Toolkit.

Shawn Jones, Michele C. Weigle외 1명|arXiv (Cornell University)|2018. 01. 01.

Topic Modeling참고 문헌 5인용 수 5

한 줄 요약

오프토픽 메멘토 툴킷(OTMT)은 여러 텍스트 유사도 측정 방법—예를 들어 코사인 유사도, 재난 거리, 시멀해시, LSI 등—을 사용하여 웹 아카이브 컬렉션 내 오프토픽 메멘토를 탐지하는 소프트웨어 도구이다. 연구자들이 저값의 메멘토를 식별하고 제외할 수 있도록 한다. 각 측정 방법에 대해 황금 표준 데이터셋을 기반으로 기본 임계값을 설정하여 TF-IDF 코사인 유사도로 최대 F1 스코어 0.881을 달성한다.

ABSTRACT

Web archive collections are created with a particular purpose in mind. A curator selects seeds, or original resources, which are then captured by an archiving system and stored as archived web pages, or mementos. The systems that build web archive collections are often configured to revisit the same original resource multiple times. This is incredibly useful for understanding an unfolding news story or the evolution of an organization. Unfortunately, over time, some of these original resources can go off-topic and no longer suit the purpose for which the collection was originally created. They can go off-topic due to web site redesigns, changes in domain ownership, financial issues, hacking, technical problems, or because their content has moved on from the original topic. Even though they are off-topic, the archiving system will still capture them, thus it becomes imperative to anyone performing research on these collections to identify these off-topic mementos. Hence, we present the Off-Topic Memento Toolkit, which allows users to detect off-topic mementos within web archive collections. The mementos identified by this toolkit can then be separately removed from a collection or merely excluded from downstream analysis. The following similarity measures are available: byte count, word count, cosine similarity, Jaccard distance, Sørensen-Dice distance, Simhash using raw text content, Simhash using term frequency, and Latent Semantic Indexing via the gensim library. We document the implementation of each of these similarity measures. We possess a gold standard dataset generated by manual analysis, which contains both off-topic and on-topic mementos. Using this gold standard dataset, we establish a default threshold corresponding to the best F1 score for each measure. We also provide an overview of potential future directions that the toolkit may take.

연구 동기 및 목표

• 웹 아카이브 컬렉션 내 오프토픽 메멘토 문제를 다루어 데이터 품질을 떨어뜨리고 분석 부담을 증가시키는 것을 목적으로 한다.
• 모든 메멘토를 수동으로 검토하지 않고도 연구자가 오프토픽 메멘토를 탐지할 수 있도록 재사용 가능하고 오픈소스인 툴킷을 개발하는 것.
• 오프토픽 탐지에 적합한 다양한 텍스트 유사도 측정 방법을 평가하고 비교하며, 시멀해시와 LSI의 새로운 응용을 포함한다.
• 황금 표준 데이터셋을 기반으로 각 유사도 측정 방법에 대한 기본 임계값을 제공하여 F1 스코어를 최대화하는 것.
• 낮은 정보 가치를 지닌 메멘토의 제거를 가능하게 하여 자동 컬렉션 요약 및 찾기 안내 도구를 지원하는 것.

제안 방법

• 툴킷은 URI-M 및 URI-T 타임맵 메타데이터를 통해 Archive-It 컬렉션의 웹 아카이브 메멘토를 수신한다.
• 여덟 가지 유사도 측정 방법을 계산한다: 바이트 수, 단어 수, 원시 텍스트 및 TF-IDF 벡터 기반 코사인 유사도, 재난 및 소렌센-다이스 거리, 원시 및 TF-가중 콘텐츠 기반 시멀해시.
• 잠재의미색인덱싱(LSI)은 gensim 라이브러리를 사용하여 코사인 유사도를 위한 벡터 표현을 생성한다.
• 평가를 위해 수작업으로 정제한 황금 표준 데이터셋(1,000개의 메멘토, 각각 500개의 온토픽 및 오프토픽)을 구성한다.
• 각 유사도 측정 방법에 대해 황금 표준 데이터셋을 사용하여 F1 스코어를 최대화하도록 임계값을 최적화하며, 다수의 런에 걸쳐 교차검증을 수행한다.
• 선택된 측정 방법과 최적화된 임계값 기반으로 오프토픽으로 분류된 메멘토 목록을 툴킷이 출력한다.

실험 결과

연구 질문

• RQ1 웹 아카이브 컬렉션 내 오프토픽 메멘토를 식별하는 데 가장 효과적인 텍스트 유사도 측정 방법은 무엇인가?
• RQ2 주제 이탈 탐지 시 각 유사도 측정 방법의 F1 스코어를 최대화하기 위한 최적의 임계값은 무엇인가?
• RQ3 기존의 방법들인 재난 및 TF-IDF 벡터 기반 코사인 유사도와 비교해 시멀해시 및 LSI는 어떻게 성능을 내는가?
• RQ4 여러 유사도 측정 방법의 조합이 개별 측정 방법을 초월해 탐지 성능을 향상시킬 수 있는가?
• RQ5 기존의 연구, 특히 AlNoamany 등(2017)과 동일한 황금 표준에서 툴킷의 성능은 어떻게 비교되는가?

주요 결과

• TF-IDF 벡터 기반 코사인 유사도가 가장 높은 F1 스코어 0.881을 기록하여, 단어 수(F1 = 0.788) 및 바이트 수(F1 = 0.756)와 같은 다른 측정 방법들을 압도했다.
• 재난 거리 측정 방법은 임계값 0.94에서 F1 스코어 0.651을 기록하여 AlNoamany의 재난 지수(F1 = 0.538)보다 뚜렷이 뛰어났다.
• LSI 벡터 기반 코사인 유사도와 단어 수의 조합은 F1 스코어 0.789를 기록하여 다중 측정 방법 융합의 이점을 입증했다.
• 원시 콘텐츠 기반 시멀해시는 F1 스코어 0.578을 기록했고, TF 기반 시멀해시는 0.523을 기록하여 TF-가중 처리가 탐지 성능을 향상시킨다는 점을 시사했다.
• LSI 기반 코사인 유사도는 평균적으로 F1 스코어 0.711을 기록했지만, 비결정적일 수 있었고 이 연구에서는 전체 범위로 테스트되지 않았다.
• 황금 표준 데이터셋에서 유도된 툴킷의 기본 임계값은 임의의 또는 히우리스틱 기반 임계값보다 탐지 정확도를 뚜렷이 향상시켰다.