[논문 리뷰] Initial Experiences Re-Exporting Duplicate and Similarity Computation with an OAI-PMH aggregator

Terry Harrison, Aravind Elango외 2명|ArXiv.org|2004. 01. 05.

Data Quality and Management참고 문헌 3인용 수 5

한 줄 요약

이 논문은 벡터 공간 모델(VSM)을 사용하여 메타데이터 레코드 간의 유사도 점수를 재수출하는 OAI-PMH 호환성 있는 집계기(aggregator)를 제안한다. 이는 중복 및 관련 문서 탐지 기능을 가능하게 한다. 3,751개의 나사(NASA) 레코드를 대상으로 개념 증명을 수행한 결과, 8시간 이내에 700만 건 이상의 유사도를 계산했으며, 평균 유사도 계산 시간은 쌍당 0.0036초였다. 유사도 결과는 GetRecord 응답에서 선택적 <about> 요소를 통해 수출된다.

ABSTRACT

The proliferation of the Open Archive Initiative Protocol for Metadata Harvesting (OAI-PMH) has resulted in the creation of a large number of service providers, all harvesting from either data providers or aggregators. If data were available regarding the similarity of metadata records, service providers could track redundant records across harvests from multiple sources as well as provide additional end-user services. Due to the large number of metadata formats and the diverse mapping strategies employed by data providers, similarity calculation requirements necessitate the use of information retrieval strategies. We describe an OAI-PMH aggregator implementation that uses the optional ``'' container to re-export the results of similarity calculations. Metadata records (3751) were harvested from a NASA data provider and similarities for the records were computed. The results were useful for detecting duplicates, similarities and metadata errors.

연구 동기 및 목표

• OAI-PMH 수확 과정에서 중복 또는 유사한 메타데이터 레코드를 탐지할 수 있는 도구의 부족을 해결하기 위해.
• 서비스 제공자가 필드 매칭에만 의존하지 않고, 여러 데이터 소스 간에 중복 레코드를 식별할 수 있도록 하기 위해.
• 정보 검색 기법인 VSM과 같은 기법을 사용하여 OAI-PMH 메타데이터에서의 유사도 계산 가능성을 입증하기 위해.
• GetRecord 응답에서 선택적 <about> 컨테이너를 통해 유사도 데이터를 추가함으로써 OAI-PMH 호환성을 확장하기 위해.
• 추천 시스템 및 메타데이터 중복 제거와 같은 기반 서비스를 위한 확장 가능한 기반을 제공하기 위해.

제안 방법

• 시스템은 어휘 빈도(term frequency)와 역문헌 빈도(inverse document frequency, idf)를 기반으로 벡터 공간 모델(VSM)을 사용하여 메타데이터 레코드 간의 코사인 유사도를 계산한다.
• 메타데이터 레코드는 파싱되며, 어휘 빈도는 tf_metadata 및 weights_metadata 디렉터리 아래의 계층적 파일 구조에 저장된다.
• 집계기는 런타임에 idf 값을 계산하고, 어휘 가중치를 저장하며, 새로운 레코드가 추가될 경우 재계산한다.
• 유사도 결과는 678.1MB 크기의 파일에 저장되며(압축 시 98.7MB), 각 레코드의 상위 10개 매칭 결과는 OAI-PMH GetRecord 요청을 통해 수출된다.
• 유사도 데이터는 선택적 <about> 요소를 사용하여 XML 응답에 통합되며, OAI-PMH 호환성을 보장하기 위해 고유의 XML 스키마를 사용한다.
• 수확된 레코드는 캐시되어 후속 계산에 재사용되며, tf_metadata는 재사용하지만, 동적 idf 값으로 인해 weights_metadata는 다시 계산된다.

실험 결과

연구 질문

• RQ1 정보 검색 기법인 VSM과 같은 기법이 OAI-PMH 컬렉션 내에서 중복 및 유사한 메타데이터 레코드를 효과적으로 식별할 수 있는가?
• RQ2 대규모 OAI-PMH 메타데이터 레포지터리에서 유사도 계산이 얼마나 효율적으로 확장될 수 있는가?
• RQ3 OAI-PMH가 <about> 요소를 통해 유사도 메타데이터를 네이티브로 지원하도록 확장할 수 있는가, 이로 인해 호환성 문제가 발생하지 않는가?
• RQ4 중간 규모의 메타데이터 컬렉션에서 쌍별 유사도 계산을 수행하는 데 드는 계산 비용은 얼마인가?
• RQ5 재수출된 유사도 데이터는 메타데이터 중복 제거 및 추천과 같은 최종 사용자 서비스를 향상시킬 수 있는가?

주요 결과

• 시스템은 3,751개의 나사(NASA) 메타데이터 레코드 간에 7,033,125개의 쌍별 유사도를 7시간 이상이지만 8시간 이내에 계산했으며, 평균 유사도 계산 시간은 쌍당 0.0036초였다.
• 전체 유사도 데이터는 678.1MB 파일에 저장되었고, 압축 시 98.7MB로 압축되어, 유사도 메타데이터의 효율적 저장을 입증했다.
• 수확된 레코드, 어휘 빈도, 어휘 가중치에 대한 디스크 사용량은 각각 15.2MB, 15.2MB, 17.3MB였으며, 관리 가능한 스토리지 오버헤드임을 나타냈다.
• 현재 O(n²) 접근 방식을 사용할 경우, 650만 개의 레코드에 대한 유사도 계산에 걸리는 추정 시간은 2,400년이 넘는 것으로 나타나, 확장성 문제를 부각시켰다.
• 시스템은 <about> 컨테이너에 유사도 결과를 통합함으로써 OAI-PMH 호환성을 성공적으로 확장했으며, 클라이언트 측에서 유사도 데이터를 소비할 수 있도록 했다.
• 각 레코드의 상위 10개 매칭 결과는 성공적으로 수출되고 정렬되어, 링크 생성 또는 메타데이터 중복 제거와 같은 후속 응용 프로그램을 가능하게 했다.