[論文レビュー] CitiLink-Summ: Summarization of Discussion Subjects in European Portuguese Municipal Meeting Minutes
CitiLink-Summは120の文書と2,880件の手書きディスカッション・サブジェクト要約を含む欧州ポルトガル語の自治体会議議事録要約コーパスを紹介し、エンコーダ-デコーダモデルおよびLLMを用いたベースライン結果を示します。
Municipal meeting minutes are formal records documenting the discussions and decisions of local government, yet their content is often lengthy, dense, and difficult for citizens to navigate. Automatic summarization can help address this challenge by producing concise summaries for each discussion subject. Despite its potential, research on summarizing discussion subjects in municipal meeting minutes remains largely unexplored, especially in low-resource languages, where the inherent complexity of these documents adds further challenges. A major bottleneck is the scarcity of datasets containing high-quality, manually crafted summaries, which limits the development and evaluation of effective summarization models for this domain. In this paper, we present CitiLink-Summ, a new corpus of European Portuguese municipal meeting minutes, comprising 100 documents and 2,322 manually hand-written summaries, each corresponding to a distinct discussion subject. Leveraging this dataset, we establish baseline results for automatic summarization in this domain, employing state-of-the-art generative models (e.g., BART, PRIMERA) as well as large language models (LLMs), evaluated with both lexical and semantic metrics such as ROUGE, BLEU, METEOR, and BERTScore. CitiLink-Summ provides the first benchmark for municipal-domain summarization in European Portuguese, offering a valuable resource for advancing NLP research on complex administrative texts.
研究の動機と目的
- 欧州ポルトガル語の自治体議事録の高品質な要約の不足を解消する。
- 欧州ポルトガル語のディスカッション・サブジェクト要約のドメイン特化コーパスを提供する。
- このドメインに対して先端モデルおよびLLMを用いたベースラインを確立する。
- データセット、ガイドライン、コードなど、研究を促進する公開リソースを提供する。
提案手法
- 6自治体(2021–2024)からの120件の自治体議事録から新しいコーパスを構築する。
- 議事録をディスカッション主題に手動でセグメント化し、専門監修の下で言語学訓練を受けたアノテータが要約を手書きする。
- CoverageとDensityの指標を用いて抽象化を評価する。
- データセット上で複数の要約モデル(BART、BART Large、PTT5、LED、PRIMERA)および大規模言語モデル(Qwen2.5-1.5B、Gemini-2.5-flash)をファインチューニングしてベンチマークする。
- 評価にはlexical(ROUGE、BLEU、METEOR)およびsemantic(BERTScore)を用いる。
- モデルのコンテキストウィンドウが制限される問題に対して階層的チャンク処理を適用する。

実験結果
リサーチクエスチョン
- RQ1欧州ポルトガル語の自治体議事録のディスカッション-subject内容を要約する抽象的要約は有効に圧縮できるか。
- RQ2このドメインと言語で現在のモデルのベースライン性能はどの程度か。
- RQ3このタスクにおけるエンコーダ-デコーダ系と大規模言語モデルの系統間で、語彙的および意味的指標はどう異なるか。
- RQ4 CitiLink-Summデータセットは、自治体テキストの要約における抽象化のレベル(CoverageとDensity)について何を明らかにするか。
主な発見
| モデル | ROUGE-R1 | ROUGE-R2 | ROUGE-R-L | BLEU | METEOR | BERTSCORE | F1 | PREC | RECALL |
|---|---|---|---|---|---|---|---|---|---|
| BART | 63.52 | 49.22 | 58.20 | 36.06 | 55.15 | 83.87 | 84.59 | 83.37 | |
| BART Large | 68.96 | 54.78 | 63.64 | 42.43 | 61.65 | 86.28 | 86.57 | 86.15 | |
| PTT5 | 52.36 | 38.21 | 45.26 | 23.65 | 46.44 | 76.90 | 76.12 | 78.15 | |
| LED | 63.63 | 50.50 | 58.59 | 29.82 | 54.88 | 84.16 | 85.70 | 82.91 | |
| PRIMERA | 66.17 | 54.57 | 61.94 | 29.06 | 57.05 | 85.79 | 87.10 | 84.79 | |
| Qwen2.5-1.5B | 44.24 | 31.06 | 38.80 | 7.16 | 31.79 | 74.49 | 77.75 | 71.83 | |
| Gemini-2.5-flash | 64.16 | 48.94 | 55.97 | 28.40 | 54.34 | 83.09 | 82.99 | 83.19 |
- CitiLink-Summコーパスは120分と2,880件の手書きディスカッション・サブジェクト要約を含む。
- 要約は中〜高いCoverageと低いDensityを示し、表層テキストの再利用を超えた抽象化を示唆する。
- より大きいモデル(PRIMERA、BART Large、Gemini)は指標全般で最高得点を達成する。
- ファインチューニング済みモデルとオープン/オープンソース対プライベートモデルの組み合わせが、欧州ポルトガル語の自治体ドメイン要約の実用的なベースラインを提供する。
- 表1は、BART LargeがROUGE68.96、BLEU+METEOR54.78、BERTSCORE63.64などを達成することを報告している。

より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。